Paddle Lite 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Paddle Lite 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Paddle Lite 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Paddle Lite 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Paddle Lite 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !

软件简介

Paddle Lite为Paddle-Mobile的升级版,定位支持包括手机移动端在内更多场景的轻量化高效预测,支持更广泛的硬件和平台,是一个高性能、轻量级的深度学习预测引擎。在保持和PaddlePaddle无缝对接外,也兼容支持其他训练框架产出的模型。

## CPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

特性

轻量级

执行阶段和计算优化阶段实现良好解耦拆分,移动端可以直接部署执行阶段,无任何第三方依赖。 包含完整的80个 Op+85个 Kernel 的动态库,对于ARMV7只有800K,ARMV8下为1.3M,并可以裁剪到更低。 在应用部署时,载入模型即可直接预测,无需额外分析优化。

高性能

极致的 ARM CPU 性能优化,针对不同微架构特点实现kernel的定制,最大发挥计算性能,在主流模型上展现出领先的速度优势。 支持INT8量化计算,结合 PaddleSlim 模型压缩工具 中 INT8量化训练功能,可以提供高精度高性能的预测能力。 在Huawei NPU, FPGA上也具有有很好的性能表现。

最新 Benchmark 位于 benchmark

通用性

硬件方面,Paddle Lite 的架构设计为多硬件兼容支持做了良好设计。除了支持ARM CPU、Mali GPU、Adreno GPU,还特别支持了华为 NPU,以及 FPGA 等边缘设备广泛使用的硬件。即将支持支持包括寒武纪、比特大陆等AI芯片,未来会增加对更多硬件的支持。

模型支持方面,Paddle Lite和PaddlePaddle训练框架的Op对齐,提供更广泛的模型支持能力。目前已严格验证18个模型85个OP的精度和性能,对视觉类模型做到了较为充分的支持,覆盖分类、检测和定位,包含了特色的OCR模型的支持。未来会持续增加更多模型的支持验证。

框架兼容方面:除了PaddlePaddle外,对其他训练框架也提供兼容支持。当前,支持Caffe 和 TensorFlow 训练出来的模型,通过X2Paddle 转换工具实现。接下来将会对ONNX等格式模型提供兼容支持。

架构

PaddleLite 的架构设计着重考虑了对多硬件和平台的支持,并且强化了多个硬件在一个模型中混合执行的能力,多个层面的性能优化处理,以及对端侧应用的轻量化设计。

其中,Analysis Phase 包括了 MIR(Machine IR) 相关模块,能够对原有的模型的计算图针对具体的硬件列表进行算子融合、计算裁剪 在内的多种优化。Execution Phase 只涉及到Kernel 的执行,且可以单独部署,以支持极致的轻量级部署。

Paddle-Mobile升级为Paddle Lite的说明

原Paddle-Mobile作为一个致力于嵌入式平台的PaddlePaddle预测引擎,已支持多种硬件平台,包括ARM CPU、 Mali GPU、Adreno GPU,以及支持苹果设备的GPU Metal实现、ZU5、ZU9等FPGA开发板、树莓派等arm-linux开发板。在百度内已经过广泛业务场景应用验证。对应设计文档可参考: mobile/README

Paddle-Mobile 整体升级重构并更名为Paddle Lite后,原paddle-mobile 的底层能力大部分已集成到新架构 下。作为过渡,暂时保留原Paddle-mobile代码。 主体代码位于 mobile/ 目录中,后续一段时间会继续维护,并完成全部迁移。新功能会统一到新架构 下开发。

metal, web的模块相对独立,会继续在 ./metal 和 ./web 目录下开发和维护。对苹果设备的GPU Metal实现的需求及web前端预测需求,可以直接进入这两个目录。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (1)

加载中
上面的官方下载和急速下载地址错误,报404
2020/03/12 10:37
回复
举报
更多评论
发表于AI & 大数据专区
2020/03/16 07:21

Paddle Lite v2.3 发布,模型压缩 75%,推理速度提升 20%

Paddle Lite v2.3发布了,新功能包括: 支持“无校准数据的训练后量化”方法,模型压缩高达75%。 优化网络结构和OP,ARM CPU推理速度最高提升超20%。 简化模型优化工具操作流程,支持一键操作,用户上手更容易。 了解更多内容,查看PaddlePaddle官网。 支持“无校准数据的训练后量化”方法模型压缩高达75% 在手机等终端设备上部署深度学习模型,通常要兼顾推理速度和存储空间。一方面要求推理速度越快越好,另一方面要求模型更加...

3
15
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
2020/03/10 14:57

Paddle Lite新增ARM端图像预处理库

Paddle Lite 是飞桨的端侧推理引擎,具有高性能、多硬件、轻量级的特点,它支持飞桨/TensorFlow/Caffe/ONNX等模型在ARM CPU, Mali GPU, Adreno GPU, Huawei NPU 等多种硬件上的推理部署,性能达到业内领先。 下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-g...

0
0
2019/12/06 21:43

Paddle Lite新增ARM端图像预处理库

Paddle Lite 是飞桨的端侧推理引擎,具有高性能、多硬件、轻量级的特点,它支持飞桨/TensorFlow/Caffe/ONNX等模型在ARM CPU, Mali GPU, Adreno GPU, Huawei NPU 等多种硬件上的推理部署,性能达到业内领先。 目前Paddle Lite保持快速的迭代优化升级,距离正式版2.0.0发布仅一个月,Paddle Lite又一次发布了2.1.0版本。 Paddle Lite的Github链接: https://github.com/PaddlePaddle/Paddle-Lite 01 Paddle Lite v2.1.0的重点功能...

0
0
2020/03/24 17:46

深度长文|百度Paddle Lite性能进化之路!

Paddle Lite作为一款主打端侧高性能轻量化部署的推理引擎,具有 高扩展性 、训练推理无缝衔接,通用性、高性能和轻量化等优点。 面对不断升级的业务需求, Paddle Lite是如何进行性能优化、提升自身竞争力的? 下面我们将围绕 框架层性能优化 、 GPU算子优化 、 CPU算子优化 以及 模型剪裁与搜索 四方面介绍性能优化的手段及思路。 (本文根据百度资深研发工程师杨延展在2019年11月19日软件绿色联盟开发者大会发表的《深度剖析P...

0
0
发表了博客
2020/04/29 00:00

如何基于Flutter和Paddle Lite实现实时目标检测

很早之前接触到了飞桨(PaddlePaddle)以及PaddleDetection工具,被他们的简单易用吸引,同时,这些工具极大降低了训练模型的门槛并减少了所需时间,非常适合新手入门。在很多实际应用场景也有不俗的表现。 在端侧部署方面,Paddle Lite是飞桨产品栈中用于端侧高性能轻量化AI应用部署的推理引擎,给了移动端等场景更多可能。这款引擎允许我们在很多硬件平台上实现轻量化的高效预测,进行一次预测耗时较短,也不需要太多的计算资...

0
0
2020/12/10 13:11

【深度学习入门】基于PaddleX的驾驶员状态识别和Paddle-Lite部署

基于PaddleX的驾驶员状态识别和Paddle-Lite部署 项目简介: 目录: 一、PaddleX 工具简介: 二、数据集简介: 三、定义数据加载器: 四、定义并训练模型: MobileNet简介: DW Conv: PW Conv: (一)论文地址: (二)核心思想: (三)Platform-Aware NAS for Block-wise Search: 3.1 MobileNetV3-Large: 3.1 MobileNetV3-Small: (四)NetAdapt for Layer-wise Search: (五)Efficient Mobile Building Blocks: (六)...

0
0
2019/10/08 21:27

1+1>2,Paddle Lite与EdgeBoard无缝连接,快速实现部署应用

导读:Paddle Lite高性能推理引擎支持FPGA作为其底层加速硬件,其支持的模型可以很简单的部署到FPGA计算卡上,利用Paddle Lite上层框架的优化能力,加上FPGA底层超强的计算能力,在精度损失很小的情况下,模型运行速度可以得到很大的提升。本文通过Paddle Lite高性能推理引擎在百度EdgeBoard计算卡上部署蔬菜识别模型,达到了实时高效识别蔬菜品类的效果。 1. 基于飞桨开源深度学习平台的AI解决方案 作为飞桨开源深度学习平台的...

0
0
发表了博客
2020/03/17 00:00

模型压缩75%,推理速度提升20%,Paddle Lite v2.3发布

Paddle Lite v2.3发布了,新功能包括: 支持“无校准数据的训练后量化”方法,模型压缩高达75%。 优化网络结构和OP,ARM CPU推理速度最高提升超20%。 简化模型优化工具操作流程,支持一键操作,用户上手更容易。 了解更多内容,查看【阅读原文】。 支持“无校准数据的训练后量化”方法模型压缩高达75% 在手机等终端设备上部署深度学习模型,通常要兼顾推理速度和存储空间。一方面要求推理速度越快越好,另一方面要求模型更加的轻...

0
0
2019/11/07 18:33

Paddle Lite 2.0 正式发布:更强大易用的端侧推理引擎

今年8月,飞桨(PaddlePaddle)对外发布面向终端和边缘设备的端侧推理引擎Paddle Lite Beta版。经过近两个多月的迭代和发展,“WAVE Summit+ ”2019深度学习开发者峰会上Paddle Lite 2.0 正式版发布。 Paddle Lite的Github链接: https://github.com/PaddlePaddle/Paddle-Lite Paddle Lite致力于提供一套功能完整、易用、高性能的端侧推理引擎,方便广大开发者将应用部署到任何端侧设备之上。对比最初的 beta 版本,正式版在编译...

0
0
发表了博客
2020/11/30 10:13

将Paddle-Lite在树莓派上源码编译及编译python预测库

新手使用Paddle-Lite 第一篇博客,第一次接触树莓派,把我的经历说一说。 文章目录 新手使用Paddle-Lite 一、为什么选Paddle-Lite? 二、使用步骤 1.环境准备 2.源码编译 编译 编译python预测库 总结 一、为什么选Paddle-Lite? 因为我第一次接触人工智能,PaddlePaddle官网https://www.paddlepaddle.org.cn/就有详细可靠的中文教程,还有PaddleX的图形化界面,对新人非常友好。 二、使用步骤 1.环境准备 来自官网的代码: # 1....

0
0
2019/09/10 22:01

AI快车道Paddle Lite专场开讲!9月21日百度科技园见

早上起床,睡眼朦胧之时,叫声“小度小度”便能唤醒家里的智能音箱,问问它现在几点,今天天气怎么样;出国在外,也不必精通各国语言,拿着百度共享Wi-Fi 翻译机就能畅行无阻。如今,越来越多搭载AI技术的硬件产品正在“把AI带进生活”,而对于AI在硬件端的落地应用,端侧推理引擎的作用至关重要。 今年8月,百度深度学习平台飞桨(PaddlePaddle)对端侧推理引擎进行全新升级,重磅发布Paddle Lite,旨在推动人工智能应用在端侧更...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表于AI & 大数据专区
2020/06/05 17:56

请问公开项目里的“基于树莓派4B与Paddle-Lite实现的实时口罩识别”,树莓派3B Hassbian环境可以支持吗?

你好,我再PaddlePaddle公开项目里看到了“基于树莓派4B与Paddle-Lite实现的实时口罩识别”的信息,想请问下树莓派3B Hassbian环境可以支持吗?

1
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
1 评论
57 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部