ONNX Runtime 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
ONNX Runtime 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
ONNX Runtime 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
ONNX Runtime 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
ONNX Runtime 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 MIT
开发语言 C/C++ Python C#
操作系统 跨平台
软件类型 开源软件
开源组织 微软
地区 不详
投 递 者 白开水不加糖
适用人群 未知
收录时间 2021-09-17

软件简介

ONNX Runtime 是一个跨平台的推理和训练机器学习加速器。

ONNX Runtime 推理可以实现更快的客户体验和更低的成本,支持PyTorch和TensorFlow/Keras等深度学习框架的模型,以及scikit-learn、LightGBM、XGBoost等经典机器学习库。ONNX运行时与不同的硬件、驱动程序和操作系统兼容,并通过利用硬件加速器(如适用)以及图形优化和转换,提供最佳性能。了解更多信息→

ONNX Runtime 训练可以通过对现有 PyTorch 训练脚本的一行添加来加快 Transformer 模型在多节点 NVIDIA GPU 上的模型训练时间。

特性:

  • 内置优化,可提供高达 17 倍的推理速度和高达 1.4 倍的训练速度
  • 支持多种框架、操作系统和硬件平台
  • 在 Office 365、Visual Studio 和 Bing 中使用,每天提供半万亿次推理

ONNX Runtime 推理的示例用例包括:

  • 提高各种 ML 模型的推理性能
  • 在不同的硬件和操作系统上运行
  • 在 Python 中训练但部署到 C#/C++/Java 应用程序中
  • 使用在不同框架中创建的模型训练和执行推理
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
暂无内容
发表于软件架构专区
01/23 19:52

ONNX初探

0x0. 背景 最近看了一些ONNX的资料,一个最大的感受就是这些资料太凌乱了。大多数都是在介绍ONNX模型转换中碰到的坑点以及解决办法。很少有文章可以系统的介绍ONNX的背景,分析ONNX格式,ONNX简化方法等。所以,综合了相当多资料之后我准备写一篇ONNX相关的文章,希望对大家有用。 0x1. 什么是ONNX? 简单描述一下官方介绍,开放神经网络交换(Open Neural Network Exchange)简称ONNX是微软和Facebook提出用来表示深度学习模型...

0
0
发表了博客
2020/10/25 08:35

yolov5 onnx

依赖项: onnx coremltools 还是报错: import onnx print('\nStarting ONNX export with onnx %s...' % onnx.__version__) f = opt.weights.replace('.pt', '.onnx') # filename model.fuse() # only for ONNX torch.onnx.export(model, img, f, verbose=False, opset_version=11, input_names=['images'], output_names=['classes', 'boxes'] if y is None e...

0
0
发表了博客
2020/04/16 15:14

retinaface onnx

废话不说,上代码 retina face, import os import time from math import ceil import onnxruntime import numpy as np import cv2 import argparse import argparse import numpy as np from data import cfg_mnet, cfg_peleenet from utils.nms.py_cpu_nms import py_cpu_nms from math import ceil from itertools import product as product #sigmoid函数 def sigmoid(x): s = 1 / (1 + np.exp(-1*x)) return ...

0
0
发表了博客
2019/01/07 19:57

ONNX源码安装

ONNX是facebook提出的一个 Open Neural Network Exchange协议,能够让训练好的模型在不同的框架间进行交互。 ONNX的安装相对来说不是特别麻烦,麻烦的是其依赖库的安装。ONNX依赖于pybind11。 首先依赖库的安装 sudo pip install pytest #pytest sudo pip install numpy #numpy sudo pip install scipy #scipy 下载pybind11源码 git clone https://github.com/pybind/pybind11.git 如果你需要eigen库的话,还需要先安装...

0
0
2019/10/18 06:48

ONNX社区研讨会

ONNX社区研讨会将于11月18日在上海举办!如果您正在服务和应用程序中使用ONNX、正在构建支持ONNX的软件或硬件,或者正在为ONNX做贡献,那么请来参加我们的活动!在这里,您可与来自许多公司的ONNX从业人员进行面对面的交流,这是一个绝佳的机会。 同时,如果您想在我们的技术沙龙发表演讲,请提交演讲提案,提交方式请点击文末阅读原文。 活动时间:2019年11月18日 地点:上海微软科技园,上海市闵行区紫星路999号 更多活动信息...

0
0
发表于程序人生专区
2019/10/21 12:42

ONNX社区研讨会

ONNX社区研讨会将于11月18日在上海举办!如果您正在服务和应用程序中使用ONNX、正在构建支持ONNX的软件或硬件,或者正在为ONNX做贡献,那么请来参加我们的活动!在这里,您可与来自许多公司的ONNX从业人员进行面对面的交流,这是一个绝佳的机会。 同时,如果您想在我们的技术沙龙发表演讲,请提交演讲提案,提交方式请点击文末阅读原文(https://aka.ms/onnx-shanghai)。 活动时间:2019年11月18日 地点:上海微软科技园,上海...

0
0
2020/05/27 12:40

ONNX 1.7现已可用!

ONNX,一个LF AI基金会毕业项目,已经发布了1.7版,我们很高兴看到这一组最新的改进。ONNX是一种表示深度学习模型的开放格式。有了ONNX,AI开发人员可以更容易地在最先进的工具之间移动模型,并选择最适合他们的组合。 在版本1.7中,你可以找到以下内容: 作为技术预览版引入的模型培训,扩展了ONNX最初的推理能力 新的和更新的操作符,以支持更多的模型和数据类型 对函数进行了增强,以启用动态函数体注册和多操作符集 操作符文...

0
0
发表了博客
2020/07/31 13:36

ONNX 介绍及TensorRT部署

ONNX简介 Open Neural Network Exchange(ONNX,开放神经网络交换)格式,是一个用于表示深度学习模型的标准,可使模型在不同框架之间进行转移。 【 ONNX是一种针对机器学习所设计的开放式的文件格式,用于存储训练好的模型。它使得不同的人工智能框架(如Pytorch, MXNet)可以采用相同格式存储模型数据并交互。 ONNX的规范及代码主要由微软,亚马逊 ,Facebook 和 IBM 等公司共同开发,以开放源代码的方式托管在Github上。目前...

0
1
发表了博客
2020/11/08 15:46

yolov5>onnx>ncnn>apk

一. yolov5 pt模型转onnx 条件: colab notebook yolov5 1. 安装环境 !pip install onnx>=1.7.0 # for ONNX export !pip install coremltools==4.0 # for CoreML export !pip install onnx-simplifier 2.修改export.py def forward(self, x): # x(b,c,w,h) -> y(b,4c,w/2,h/2) return self.conv(torch.cat([x, x, x, x], 1)) # return self.conv(torch.cat([x[..., ::2, ::2], x[..., 1::2, ::2], x[..., ::2, 1:...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
1 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部