阿里开源深度神经网络推理引擎 MNN

段段段落
 段段段落
发布于 2019年05月09日
收藏 47

近日,阿里正式开源了轻量级深度学习端侧推理引擎 “MNN”。

MNN 是一个轻量级的深度学习端侧推理引擎,核心解决深度神经网络模型在端侧推理运行问题,涵盖深度神经网络模型的优化、转换和推理。

官方希望 MNN 能够抹平 Android 和 iOS 的差异、碎片设备之间的差异、不同训练框架的差异,实现快速的在端侧部署运行,并且能够根据业务模型进行 OP 灵活添加和 CPU/GPU 等异构设备深入性能优化。

△ MNN 架构设计,分为 Converter 和 Interpreter 两部分

具体来说,MNN 负责加载网络模型,推理预测返回相关结果。整个推理过程可以分为模型的加载解析、计算图的调度、在异构后端上高效运行。MNN 具备四大特征:

  • 通用性:支持 Tensorflow、Caffe、ONNX 等主流模型文件格式,支持 CNN、RNN、GAN 等常用网络;

  • 轻量性:针对端侧设备特点深度定制和裁剪,无任何依赖,可以方便地部署到移动设备和各种嵌入式设备中。

  • 高性能:不依赖任何第三方计算库,依靠大量手写汇编实现核心运算,充分发挥ARM CPU的算力。

  • 易用性:具备完善的文档和实例,有高效的图像处理模块,覆盖常见的形变、转换等需求。支持回调机制,方便提取数据或者控制运行走向。

关于 MNN 的优势,已入职阿里的 AI 科学家贾扬清评价道:

与 Tensorflow、Caffe2 等同时覆盖训练和推理的通用框架相比,MNN 更注重在推理时的加速和优化,解决在模型部署的阶段的效率问题,从而在移动端更高效地实现模型背后的业务。

这意味着 MNN 和服务器端 TensorRT 等推理引擎的想法相符合。在大规模机器学习应用中,考虑到大规模的模型部署,机器学习的推理侧计算量往往是训练侧计算量的十倍以上,所以推理侧的优化尤其重要。

△ MNN 与 Caffe2 等框架进行性能比较,有 20% 以上优势

目前,MNN已经在手淘、手猫、优酷、聚划算、UC等 20 多个 App 中使用,覆盖直播、短视频、搜索推荐、商品图像搜索等场景,每天稳定运行上亿次。此外,IoT 等场景下也有若干应用。官方计划每两个月发布一个稳定版本。

参考:MNN 项目介绍阿里技术

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 OSCHINA 社区 [http://www.oschina.net]
本文标题:阿里开源深度神经网络推理引擎 MNN
加载中

精彩评论

紫外線
紫外線
阿里开源谁用谁知道
潘先生
潘先生
支持
孤独的探索号
孤独的探索号

引用来自“雲霏霏”的评论

开源了,就是有新技术替代了,这个要被抛弃了~~
商业公司这种操作不是很正常?个人项目才可能大概率靠情怀。
Google 也没开源搜索引擎算法,Facebook 也没开源广告算法。
但一般开源出来的,即便内部过时了,外部一大堆企业也是做不到的,
仍然对技术的普及、开源的壮大有很大的帮助。

最新评论(7

七辰水墨

引用来自“紫外線”的评论

阿里开源谁用谁知道

引用来自“沙发迪”的评论

用了的都知道
谁命硬谁用,反正我不敢用
沙发迪
沙发迪

引用来自“紫外線”的评论

阿里开源谁用谁知道
用了的都知道
海绵宝宝a
海绵宝宝a
当时的map reduce出来的时候 谷歌也没什么好的运用,不一定过时,开源的只是框架,又不是模型,明显还是希望社区大神能提供帮助改进的
孤独的探索号
孤独的探索号

引用来自“雲霏霏”的评论

开源了,就是有新技术替代了,这个要被抛弃了~~
商业公司这种操作不是很正常?个人项目才可能大概率靠情怀。
Google 也没开源搜索引擎算法,Facebook 也没开源广告算法。
但一般开源出来的,即便内部过时了,外部一大堆企业也是做不到的,
仍然对技术的普及、开源的壮大有很大的帮助。
紫外線
紫外線
阿里开源谁用谁知道
雲霏霏
雲霏霏
开源了,就是有新技术替代了,这个要被抛弃了~~
潘先生
潘先生
支持
返回顶部
顶部