TensorFlow Lite 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
TensorFlow Lite 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票

软件简介

TensorFlow Lite 是一款 TensorFlow 用于移动设备和嵌入式设备的轻量级解决方案。

TensorFlow 可以在多个平台上运行,从机架式服务器到小型 IoT 设备。但是随着近年来机器学习模型的广泛使用,出现了在移动和嵌入式设备上部署它们的需求。而 TensorFlow Lite 允许设备端的机器学习模型的低延迟推断。

设计初衷

  • 轻量级:允许小 binary size 和快速初始化/启动的设备端机器学习模型进行推断。

  • 跨平台:运行时的设计使其可以在不同的平台上运行,最先允许的平台是安卓和 iOS。

  • 快速:专为移动设备进行优化,包括大幅提升模型加载时间,支持硬件加速。

现在,越来越多移动设备内置了专门的自定义硬件以高效处理机器学习工作负载。TensorFlow Lite 支持安卓神经网络 API,以充分利用新的可用加速器。

当加速器硬件不可用时,TensorFlow Lite 返回至经优化的 CPU 执行操作,确保模型仍然可在大量设备上快速运行。

架构

下图展示了 TensorFlow Lite 的架构设计:

组件包括

  • TensorFlow 模型(TensorFlow Model):训练后的 TensorFlow 模型,保存在磁盘中。

  • TensorFlow Lite 转换器(TensorFlow Lite Converter):该程序将模型转换成 TensorFlow Lite 文件格式。

  • TensorFlow Lite 模型文件(TensorFlow Lite Model File):该格式基于 FlatBuffers,经过优化以适应最大速度和最小规模。

然后将 TensorFlow Lite 模型文件部署到移动 App 中:

  • Java API:安卓设备上适用于 C++ API 的便利封装。

  • C++ API:加载 TensorFlow Lite 模型文件,启动编译器。安卓和 iOS 设备上均有同样的库。

  • 编译器(Interpreter):使用运算符执行模型。解释器支持选择性加载运算符;没有运算符时,编译器只有 70KB,加载所有运算符后,编译器为 300KB。这比 TensorFlow Mobile(具备一整套运算符)的 1.5M 要小得多。

  • 在选择的安卓设备上,编译器将使用安卓神经网络 API 进行硬件加速,或者在无可用 API 的情况下默认执行 CPU。

开发者还使用 C++ API 实现自定义 kernel,它可被解释器使用。

模型

TensorFlow Lite 已经支持多个面向移动端训练和优化的模型:

  • MobileNet:一种能够识别超过 1000 种不同物体的视觉模型,专为移动端和嵌入式设备设计;

  • Inception V3:一种图像识别模型,功能上类似于 MobileNet,但能提供更高的准确率(当然模型也更大);

  • Smart Reply:一种设备端对话模型,能对接收到的会话聊天信息提供触发性应答。第一方和第三方通信 App 可在 Android Wear 上使用该特性。

Inception v3 和 MobileNet 都在 ImageNet 数据集上训练过,你可以通过迁移学习轻松地在自己的图像数据集上重新训练这些模型。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
发表于AI & 大数据专区
08/19 08:52

快 2 倍,TFLite 推出基于 OpenCL 的 Android 移动 GPU 推理引擎

TensorFlow Lite(TFLite)现在支持在 Android 设备上使用 OpenCL 进行 GPU 推理,这一改进使得 TFLite 性能比使用现有 OpenGL 后端提高了约 2 倍。 TensorFlow Lite 团队介绍了目前其使用 OpenCL 在移动 GPU 推理上所取得的进展,并宣布正式推出基于 OpenCL 的 Android 移动 GPU 推理引擎,该引擎在大小合理的神经网络上...

4
9
发表了资讯
2017/12/30 08:08

强强联合,TensorFlow Lite 宣布正式支持 Core ML

11 月 14 日,Google 发布了 TensorFlow Lite 的开发者预览版,TensorFlow Lite 是 TensorFlow 面向移动和嵌入式设备的轻量级解决方案,设计目标是轻量级、跨平台和快速。 Google 开发者中文博客消息,近日,在与 Apple 的协作下,TensorFlow Lite 正式支持 Core ML。此次宣布之后,iOS 开发者可以利用 Core ML 的优势来...

1
8
发表了资讯
2017/11/15 17:08

TensorFlow Lite 正式发布,谷歌移动端深度学习框架

今年 5 月,谷歌曾在 I/O 大会上宣布即将推出 TensorFlow Lite,现在,谷歌终于发布了新工具的开发者预览版本,这是一款 TensorFlow 用于移动设备和嵌入式设备的轻量级解决方案。 TensorFlow 可以在多个平台上运行,从机架式服务器到小型 IoT 设备。但是随着近年来机器学习模型的广泛使用,出现了在移动和嵌入式设备上部...

5
55
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2019/01/16 20:13

Tensorflow Lite -- camera demo

简介 TF lite是Tensorflow官方提供的在移动设备运行机器学习模型的解决方案。 主要优点: 性能(没有明显的准确率的下降) 低延迟 模型体积小 兼容性(安卓,ios) camera demo是官方提供的例子。通过摄像头实时的影像,根据已训练好的模型,判断出当前镜头里的物品分类。 参考:https://codelabs.developers.google.co...

0
0
发表于AI & 大数据专区
2018/11/20 21:25

tensorflow lite 源码阅读(1)

通过观看视频,记下此次笔记,笔记内容来自lite深度解析视频。视频来源:https://www.bilibili.com/video/av24219725/ tensorflow lite 定位于设备端智能应用。我们在台式机上使用tensorflow开发出模型,训练出权...

0
0
04/13 21:09

当TensorFlow邂逅ESP32——为ESP32设置TensorFlow Lite环境

原作者: Wezley Sherman 链接: https://towardsdatascience.com/tensorflow-meet-the-esp32-3ac36d7f32c7 如果我必须选择一个最喜欢的计算领域,我会选择嵌入式系统。我非常喜欢在资源受限的环境中优化代码所带来...

0
0
发表了博客
10/20 11:38

tensorflow:tensorflow进阶

文章目录 推荐文章 一.合并与分割 1.1 合并 1.2 分割 2.数据统计 2.1 向量范数 2.2 最大最小值、均值、和 2.3 张量比较 2.4 填充与复制 3.数据限幅 4.高级操作 4.1 tf.gather 4.2 tf.gather_nd 4.3 tf.boolean_mask 4.4 tf.where 4.5 scatter_nd 4.6 meshgrid 5.数据集加载 5.1 随机打乱 5.2 批训练 5.3预处理 5.4 循环训...

0
0
发表了博客
2019/10/30 19:47

TensorFlow Lite for Android示例

一、TensorFlow Lite TensorFlow Lite 是用于移动设备和嵌入式设备的轻量级解决方案。TensorFlow Lite 支持 Android、iOS 甚至树莓派等多种平台。 二、tflite格式 TensorFlow 生成的模型是无法直接给移动端使用的,需要离线转换成.tflite文件格式。 tflite 存储格式是 flatbuffers。 FlatBuffers 是由Google开源的一个免...

0
1
发表了博客
10/15 10:45

Tensorflow:TensorFlow基础(一)

文章目录 TensorFlow基础 1.数据类型 1.1 数值类型 1.2 字符串类型 1.3 布尔类型 2.数值精度 2.1 读取精度 2.2 类型转换 3.待优化张量 4.创建张量 4.1 从数组、列表对象创建 4.2 创建全0或全1张量 4.3 创建自定义数值张量 4.4 创建已知分布的张量 4.4 创建序列 TensorFlow基础 import numpy as np import tensorflow as ...

0
0
发表了博客
2019/03/18 17:12

GitHub上用于微控制器的TensorFlow Lite

这是TensorFlow Lite的实验端口,针对微控制器和其他只有千字节内存的设备。它不需要任何操作系统支持,任何标准的C或C ++库或动态内存分配,因此它的设计甚至可以移植到“裸机”系统。核心运行时在Cortex M3上适...

0
0
发表于AI & 大数据专区
04/30 22:13

【免费教学】Tensorflow Lite极简入门

边缘计算时代离我们越来越近,当前嵌入式设备的智能框架还是 TensorFlow Lite比较成熟,这里我准备用一系列免费课程和大家一起讨论下 TensorFlow Lite在移动设备上的应用,让我们的设备智能起来。 我们先来看下 ...

0
0
发表了博客
10/18 09:53

Tensorflow:TensorFlow基础(二)

文章目录 TensorFlow基础(二) 1.张量的典型应用 1.1 标量 1.2 向量 1.3 矩阵 2.索引与切片 2.1 索引 2.2 切片 3.维度变换 3.1 改变视图 3.2 增、删维度 3.3 交换维度 3.4 复制数据 4.Broadcasting 5.数学运算 5.1 加、减、乘、除运算 5.2 乘方运算 5.3 指数和对数运算 5.4 矩阵相乘运算 6.前向传播实战 TensorFlow基础...

0
0
2017/05/18 21:50

[ Tensorflow]Tensorflow Reduction operations

reduce系列在平时工程中是经常使用的,其中reduce_sum是使用最频繁的一个。主要用在计算loss的时候,当我们定义好loss之后,我们一般要求loss最小,这时候就需要reduce系列。下面通过文档,我给大家简单介绍一下,...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
47 收藏
分享
返回顶部
顶部