授权协议: 未知
开发语言: C/C++ 查看源码 »
操作系统: 嵌入式
开发厂商: 百度
收录时间: 2019-08-23
提 交 者: 红薯

Paddle Lite为Paddle-Mobile的升级版,定位支持包括手机移动端在内更多场景的轻量化高效预测,支持更广泛的硬件和平台,是一个高性能、轻量级的深度学习预测引擎。在保持和PaddlePaddle无缝对接外,也兼容支持其他训练框架产出的模型。

## CPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

特性

轻量级

执行阶段和计算优化阶段实现良好解耦拆分,移动端可以直接部署执行阶段,无任何第三方依赖。 包含完整的80个 Op+85个 Kernel 的动态库,对于ARMV7只有800K,ARMV8下为1.3M,并可以裁剪到更低。 在应用部署时,载入模型即可直接预测,无需额外分析优化。

高性能

极致的 ARM CPU 性能优化,针对不同微架构特点实现kernel的定制,最大发挥计算性能,在主流模型上展现出领先的速度优势。 支持INT8量化计算,结合 PaddleSlim 模型压缩工具 中 INT8量化训练功能,可以提供高精度高性能的预测能力。 在Huawei NPU, FPGA上也具有有很好的性能表现。

最新 Benchmark 位于 benchmark

通用性

硬件方面,Paddle Lite 的架构设计为多硬件兼容支持做了良好设计。除了支持ARM CPU、Mali GPU、Adreno GPU,还特别支持了华为 NPU,以及 FPGA 等边缘设备广泛使用的硬件。即将支持支持包括寒武纪、比特大陆等AI芯片,未来会增加对更多硬件的支持。

模型支持方面,Paddle Lite和PaddlePaddle训练框架的Op对齐,提供更广泛的模型支持能力。目前已严格验证18个模型85个OP的精度和性能,对视觉类模型做到了较为充分的支持,覆盖分类、检测和定位,包含了特色的OCR模型的支持。未来会持续增加更多模型的支持验证。

框架兼容方面:除了PaddlePaddle外,对其他训练框架也提供兼容支持。当前,支持Caffe 和 TensorFlow 训练出来的模型,通过X2Paddle 转换工具实现。接下来将会对ONNX等格式模型提供兼容支持。

架构

PaddleLite 的架构设计着重考虑了对多硬件和平台的支持,并且强化了多个硬件在一个模型中混合执行的能力,多个层面的性能优化处理,以及对端侧应用的轻量化设计。

其中,Analysis Phase 包括了 MIR(Machine IR) 相关模块,能够对原有的模型的计算图针对具体的硬件列表进行算子融合、计算裁剪 在内的多种优化。Execution Phase 只涉及到Kernel 的执行,且可以单独部署,以支持极致的轻量级部署。

Paddle-Mobile升级为Paddle Lite的说明

原Paddle-Mobile作为一个致力于嵌入式平台的PaddlePaddle预测引擎,已支持多种硬件平台,包括ARM CPU、 Mali GPU、Adreno GPU,以及支持苹果设备的GPU Metal实现、ZU5、ZU9等FPGA开发板、树莓派等arm-linux开发板。在百度内已经过广泛业务场景应用验证。对应设计文档可参考: mobile/README

Paddle-Mobile 整体升级重构并更名为Paddle Lite后,原paddle-mobile 的底层能力大部分已集成到新架构 下。作为过渡,暂时保留原Paddle-mobile代码。 主体代码位于 mobile/ 目录中,后续一段时间会继续维护,并完成全部迁移。新功能会统一到新架构 下开发。

metal, web的模块相对独立,会继续在 ./metal 和 ./web 目录下开发和维护。对苹果设备的GPU Metal实现的需求及web前端预测需求,可以直接进入这两个目录。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

Paddle Lite 的相关博客

Paddle Lite新增ARM端图像预处理库

Paddle Lite 是飞桨的端侧推理引擎,具有高性能、多硬件、轻量级的特点,它支持飞桨/TensorFlow/Caffe/ONNX等模型在ARM CPU, ...

深度长文|百度Paddle Lite性能进化之路!

Paddle Lite作为一款主打端侧高性能轻量化部署的推理引擎,具有 高扩展性 、训练推理无缝衔接,通用性、高性能和轻量化等优点...

如何基于Flutter和Paddle Lite实现实时目标检测

很早之前接触到了飞桨(PaddlePaddle)以及PaddleDetection工具,被他们的简单易用吸引,同时,这些工具极大降低了训练模型的...

模型压缩75%,推理速度提升20%,Paddle Lite v2.3发布

Paddle Lite v2.3发布了,新功能包括: 支持“无校准数据的训练后量化”方法,模型压缩高达75%。 优化网络结构和OP,ARM CPU...

基于树莓派4B与Paddle-Lite实现的实时口罩识别

2020年如今国内的硝烟渐渐弥散,但人们仍然不能懈怠。口罩依然是能让你进入公共场所的“门票”。 佩戴口罩是阻断呼吸道病毒传...

基于树莓派4B与Paddle-Lite实现的实时口罩识别

文档结构 0 项目简介 1 环境搭建 2 快速开始 3 关于模型 4 关于opt模型转化工具 5 FAQ 1.1硬件环境 3.1模型更新 -------- ---...

在 Node.js 上接入 Paddle Lite,让你的网站具备 AI 推理能力

【飞桨开发者说】李睿,北京邮电大学学生,人工智能和移动开发爱好者。 随着桌面端Electron技术逐步崛起,基于Electron开发的...

如何用树莓派4B与Paddle Lite实现实时口罩识别?

佩戴口罩是阻断呼吸道病毒传播的方式之一,但难免会有些人不会自觉佩戴口罩。当人与人最舒适的距离是“你离我远点”的情况下,...

如何用树莓派4B与Paddle Lite实现实时口罩识别?

2020年如今国内的硝烟渐渐弥散,但人们仍然不能懈怠。口罩依然是能让你进入公共场所的“门票”。 佩戴口罩是阻断呼吸道病毒传...

模型压缩高达75%,推理速度提升超20%, Paddle Lite v2.3正式发布

如今,诸如计算机视觉、智能语音交互等基于深度学习的AI技术,在满足日常应用层面上已经非常成熟。比如,人脸识别闸机在机场、...

评论 (1)

加载中
上面的官方下载和急速下载地址错误,报404
03/12 10:37
回复
举报
更多评论
1 评论
54 收藏
分享
返回顶部
顶部