TensorRT 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
TensorRT 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
TensorRT 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
TensorRT 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
TensorRT 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache-2.0
开发语言 C/C++ 查看源码 »
操作系统 跨平台
软件类型 开源软件
开源组织
地区 不详
投 递 者 JS泫
适用人群 未知
收录时间 2019-06-18

软件简介

TensorRT 是一个高性能深度学习推理平台,它包括深度学习推理优化器和运行时,可为深度学习推理应用提供低延迟和高吞吐量。在推理期间,基于 TensorRT 的应用比仅 CPU 平台的执行速度快 40 倍。

TensorRT 基于 CUDA,NVIDIA 的并行编程模型,能够利用 CUDA-X AI 中的库、开发工具和技术,为人工智能、自动机器、高性能计算和图形优化所有深度学习框架的推理。

此库包含 TensorRT 插件和解释器(Caffe 和 ONNX),还有一些演示 TensorRT 平台的使用和功能的示例应用。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
暂无内容
发表了博客
2019/12/26 11:00

ubuntu TensorRT

star@xmatrix:~$ star@xmatrix:~$ star@xmatrix:~$ lspci |grep -i vga 08:00.0 VGA compatible controller: ASPEED Technology, Inc. ASPEED Graphics Family (rev 30) star@xmatrix:~$ star@xmatrix:~$ star@xmatrix:~$ star@xmatrix:~$ lspci | grep -i nvidia 02:00.0 3D controller: NVIDIA Corporation GP104GL [Tesla P4] (rev a1) star@xmatrix:~$ star@xmatrix:~$ star@xmatrix:~$ cat /proc/driver...

0
0
发表了博客
2019/10/30 20:56

TensorRT 介绍

引用:https://arleyzhang.github.io/articles/7f4b25ce/ 1 简介 TensorRT是一个高性能的深度学习推理(Inference)优化器,可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架,将TensorRT和NVIDIA的GPU结合起来,能在几乎所有的框架中进行快速和高效的部署推理。 Te...

0
0
发表了博客
2019/11/28 15:44

TensorRT学习

tensorrt加速推理整到一半还没整明白。因为另一个项目紧急,写了个简单的进展汇报给同事,由同事接着做下去。等以后有空了完全弄明白tensorrt,再回来修改这篇文章。 TensorRT当前进展 (本文前4节为已做工作总结,可直接跳过,看“5 当前进展”,并开展下一步工作!) 1 TensorRT的基本功能 TensorRT是NVIDIA开发的一个可以在NVIDIA旗下的GPU上进行高性能推理的C++库,是一个高性能推理优化引擎。 其核心库是使用c++去加速NVI...

0
0
发表了博客
2020/10/24 13:10

yolov5 tensorrt

参照: https://github.com/hlld/tensorrt-yolov5 2020.10.23 17天以前更新的, https://github.com/wang-xinyu/tensorrtx/tree/master/yolov5 yololayer.h 修改自己类别个数: static constexpr int CLASS_NUM = 1; 下面是阈值参数,nms阈值参数: #define USE_FP16 // comment out this if want to use FP32 #define DEVICE 0 // GPU id #define NMS_THRESH 0.4 #define CONF_THRESH 0.3 std::cerr << "yolov5_rt.exe -s ...

0
0
发表了博客
2020/08/15 15:33

TensorRT:NvInfer.h

版本:5.1.5.0 工欲善其事必先利其器,后面需要使用RT插件,所以还是得学习一下RT的相关代码 NvInfer.h中声明和定义了RT中的大部分变量、函数、类等 RT中代码格式较为统一,大体看了设定规则 枚举变量:k+全大写, kFLOAT, kGPU,kCHANNEL 类内变量:k+首字母大写,nbDims 类内函数:小写+首字母大写,setNames(), setInput() 不能派生或者继承的:用大写的“I”进行了标识, ITensor,ILayer 0:命名空间:nvidia + infe...

0
0
发表了博客
2020/08/19 12:37

TensorRT:NvinferPlugin.h

版本:5.1.5.0 include NvInfer.h NvInferPlugin.h NvCaffeParser.h NvOnnxConfig.h NvOnnxParser.h NvOnnxParserRuntime.h NvUffParser.h NvUtils.h 说明:红色标记的:NvInfer.h, NvInferPlugin.h, NvUtils.h是公用的。其他用来支持:Caffe, Onnx和Uff(tensorflow) 功能:Nvidia官方提供的TRT插件的API 0:命名空间:nvidia + infer --- > nvinfer1 不变 namespace nvinfer1 1:枚举变量 Plugin类型...

0
0
发表了博客
2020/05/08 16:20

《一》TensorRT之基本概念

以下内容根据个人理解整理而成,如有错误,欢迎指出,不胜感激。 0. 写在前面 由于近期的工作需要用到TensorRT和TensorRT Inference Server,自己也是第一次接触,因此在这里记录下相关的学习和使用笔记,内容主要来自于官方相关文档,如TensorRT Developer Guide等。 本文主要记录TensorRT相关的基础知识,主要包括以下几个方面: 什么是TensorRT TensorRT的工作原理 TensorRT学习资源总结 1. 什么是TensorRT 可以把TensorRT看...

0
0
发表了博客
2019/11/27 19:16

Tensorrt之tf-trt

使用python接口, 另外一种方式就是使用tf-trt,优化后的模型还是pb。优化的过程主要是一些层的合并啊之类的,加速结果不是特别明显,测了两个网络, 加速了10%的样子。优化后仍是pb,因此可以继续用tfserving。 keras/tf model -> pb model ->(trt优化model) 或者已经是savedmodel,可直接通 saved_model_cli来转换,用于后续的tfserving 参考: https://docs.nvidia.com/deeplearning/frameworks/tf-trt-user-guide/index.ht...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
4 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部