Transformer 加速工具 TurboTransformers

BSD 3-Clause
C/C++ Python 查看源码»
跨平台
腾讯
2020-04-24
编辑部的故事

TurboTransformers 来自于深度学习自然语言处理基础平台 TencentNLP Oteam,旨在搭建统一的深度学习 NLP (Natural Language Processing,自然语言处理)基础平台、提升研发效能。

特性:

  • 优异的 CPU/GPU 性能表现。面向 Intel 多核 CPU 和 NVIDIA GPU 硬件平台,通过核心融合和并行算法优化,TurboTransformers 充发挥硬件的各层级并行计算的能力。在多种 CPU 和 GPU 硬件上获得了超过 PyTorch/TensorFlow 和目前主流优化引擎(如 onnxruntime-mkldnn/onnxruntime-gpu、torch JIT、NVIDIA faster transformers)的性能表现。
  • 为 NLP 推理任务特点量身定制。TurboTransformers 可以支持变长输入序列处理,无需序列补零、截断或者分桶带来的无用计算,也无需任何针对计算图在推理前进行预调优的过程。
  • 简单的使用方式。TurboTransformers 支持 Python 和 C++ 接口进行调用。TurboTransformers 支持 TensorFlow 和 PyTorch 预训练模型的载入。它可以作为 huggingface/transformers 的推理加速插件,通过加入几行 Python 代码获得对 BERT 模型的端对端加速效果。

的码云指数为
超过 的项目
加载中
请先登录后再评论。

微信开源推理加速工具 TurboTransformers,性能超越 PyTorch/TensorFlow 与主流优化引擎

腾讯宣布开源 Transformer 推理加速工具 TurboTransformers。该工具面向自然语言处理领域中 Transformers 相关模型丰富的线上预测场景,据介绍,其在微信、腾讯云、QQ 看点等产品的线上服务中...

04/24 15:01

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

深入浅出腾讯BERT推理模型--TurboTransformers

Overview TurboTransformers是腾讯最近开源的BERT推理模型,它的特点就是一个字,快。本人用BERT(huggingface/transformers)在V100上做了测试,测试结果和官宣的基本一致:TurboTransforme...

06/28 17:02
79
0
腾讯开源TurboTransformers,推理加速性能超TensorRT主流优化引擎

  机器之心报道   机器之心编辑部    昨日,腾讯发布了在 GitHub 上的第 100 个开源项目「TurboTransformers」,在多种 CPU 和 GPU 硬件测试中,这款 Transformer 推理加速工具获得了超...

04/28 19:01
77
0
腾讯第100个开源项目:微信开源推理加速工具TurboTransformers

出品 | AI科技大本营(ID:rgznai100) 4月24日,腾讯正式宣布开源Transformer推理加速工具TurboTransformers。该工具面向自然语言处理领域中Transformers相关模型丰富的线上预测场景,在微信...

04/26 17:29
62
0
腾讯开源 TurboTransformers,推理加速性能超越 TensorRT 等主流优化引擎!

点击上方“ 杰哥的IT之旅 ”,选择“ 星标 ”公众号 重磅干货,第一时间送达 近期,腾讯发 布了在 GitHub 上的第 100 个开源项目「TurboTransformers」,在多 种 CPU 和 GPU 硬件测试中,这款...

04/26 08:30
29
0
腾讯开源项目破百:NLP领域新突破,推理加速工具 TurboTransformers开源

项目背景 以BERT为代表的Transformer神经网络是近年来NLP领域最重要的模型创新,很多NLP任务,如阅读理解、文章摘要、语义分类、同义改写等,都通过采用BERT获得了显著的效果提升。但是,如下...

04/26 16:33
72
0
2020年4月份所有文章汇总

点击上方“ 杰哥的IT之旅 ”,选择“ 星标 ”公众号 重磅干货,第一时间送达 整 理 | JackTian 微信公众号 | 杰哥的IT之旅(ID:Jake_Internet) 历史汇总:(点击如下标题即可跳转) 2018年...

05/01 08:30
10
0
模型的跨界:我拿Transformer去做目标检测,结果发现效果不错

机器之心报道 参与:Racoon、杜伟、张倩 自 2017 年被提出以来,Transformer 已经席卷了整个 NLP 领域,红极一时的 BERT、GPT-2 都采用了基于 Transformer 的架构。 既然这么好用,为什么不用...

05/29 09:06
13
0

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部