服务器端推理优化库 FBGEMM

BSD
C/C++
Linux
Facebook
2018-11-11
红薯

Facebook 开源了 FBGEMM,一个针对服务器推理优化的高性能核心库。 与其他库不同,FBGEMM 最大程度优化了 CPU 性能,通过降低精度计算来加速深度学习模型。 目前 Facebook 已经在自己的服务中使用该库,与目前的生产基准相比,它带来了两倍的性能提升。

FBGEMM 的最大特点是优化低精度数据。 与科学计算中使用的传统线性代数库不同,FBGEMM 不使用 FP32 或 FP64 精度,可以为小批量提供有效的低精度通用矩阵乘法(GEMM)运算,并支持精确损失最小化技术,例如行式(Row-wise)量化和异常值感知量化。

FBGEMM 已在 Facebook 上大规模部署,加速了许多端到端人工智能服务,包括将英语翻译成西班牙语的速度提高 1.3 倍,减少了 40% 的推荐系统信息源动态内存带宽的使用 ,并将机器学习系统 Rosetta 的字符检测速度提升2.4倍(Rosetta 是 Facebook 用来理解文本,图像和视频内容的系统。)

的码云指数为
超过 的项目
加载中
请先登录后再评论。

Facebook 开源 FBGEMM,服务器端推理优化库

Facebook 开源了 FBGEMM,一个针对服务器推理优化的高性能核心库。 与其他库不同,FBGEMM 最大程度优化了 CPU 性能,通过降低精度计算来加速深度学习模型。 目前 Facebook 已经在自己的服务中...

2018/11/11 08:15

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

Pytorch-Quantization(1)

Introduction Pytorch应该是当下最流行、最好用、最易上手的深度学习框架。反正tf的那些借口我是记不住的,也不想去记,更不想去用的。Pytorch一直以来被诟病的两点:移动端移植、模型量化。...

05/07 20:59
26
0
员工窃取前东家算法,还拿到 PyTorch 开源?Facebook 被 MIT 教授起诉

https://www.leiphone.com/news/202003/NaD2h4ttITklpKWR.html 雷锋网AI源创评论讯,就在上周,一家由麻省理工学院(MIT)两位教授设立的创业公司,将 Facebook 告上了法庭,指控 Facebook 侵...

03/19 20:22
18
0
员工窃取前东家算法,还拿到 PyTorch 开源?Facebook 被 MIT 教授起诉

https://www.leiphone.com/news/202003/NaD2h4ttITklpKWR.html 雷锋网AI源创评论讯,就在上周,一家由麻省理工学院(MIT)两位教授设立的创业公司,将 Facebook 告上了法庭,指控 Facebook 侵...

03/19 20:02
14
0
PyTorch 1.5发布,C++前端重大更新、引入新存储格式提高性能

PyTorch 1.5 发布了,此版本包括新增加了几个主要的 API 和一些改进、对 C++ 前端有重大更新、用于计算机视觉模型的“通道维持(channels last)”存储格式,以及用于模型并行训练的分布式 ...

04/23 00:00
0
0
PyTorch 1.5 发布,C++前端重大更新、引入新存储格式提高性能

PyTorch 1.5 发布了,此版本包括新增加了几个主要的 API 和一些改进、对 C++ 前端有重大更新、用于计算机视觉模型的“通道维持(channels last)”存储格式,以及用于模型并行训练的分布式 ...

04/26 10:00
0
0
硬扛TensorFlow2.0,pytorch1.3正式发布!

点击上方“蓝字”关注“计算机视觉cv” 就在今年 8 月份,机器学习框架 PyTorch 刚发布 1.2 版本(详情可参考:新版 PyTorch 1.2 已发布:功能更多、兼容更全、操作更快!),很多开发者甚至...

2019/10/12 20:26
0
0
Pytorch1.3源码解析-第一篇

pytorch$ tree -L 1 . ├── android ├── aten ├── benchmarks ├── binaries ├── c10 ├── caffe2 ├── CITATION ├── cmake ├── CMakeLists.txt ├── ...

2019/10/28 11:34
20
0
Ubuntu 16.04上源码编译和安装pytorch教程,并编写C++ Demo CMakeLists.txt

本文首发于个人博客https://kezunlin.me/post/54e7a3d8/,欢迎阅读最新内容! tutorial to compile and use pytorch on ubuntu 16.04 PyTorch for Python install pytorch from anaconda con...

2019/11/28 10:32
511
0

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部