深度学习模型部署框架  GraphPipe

GraphPipe 深度学习模型部署框架

UPL
C/C++ 查看源码»
跨平台
Oracle
2018-08-16
局长

GraphPipe 是甲骨文开源的通用深度学习模型部署框架。官方对 GraphPipe 的定义为,这是一种协议和软件集合,旨在简化机器学习模型部署并将其与特定于框架的模型实现分离。

甲骨文表示,这一新工具可提供跨深度学习框架的模型通用 API、开箱即用的部署方案以及强大的性能。

GraphPipe 为在网络上传递张量数据(tensor data)提供了一个标准、高性能的协议,以及提供了客户端和服务器的简单实现,因而使得从任何框架部署和查询机器学习模型变得轻而易举。GraphPipe 的高性能服务器支持 TensorFlow、PyTorch、MXNet、CNTK 和 Caffe2。

GraphPipe 包括

  • 一组 flatbuffer 定义

  • 根据 flatbuffer 定义一致的模型的指南

  • 来自各种机器学习框架的模型的示例

  • 用于通过 GraphPipe 查询模型的客户端库

GraphPipe 功能特性

  • 基于 flatbuffers 的极简机器学习传输规范

  • 适用于 TensorflowCaffe2 和 ONNX 的简单高效参考模型服务器(reference model servers)

  • Go,Python 和 Java 的高效客户端实现

使用这些工具,企业应该可跨多个服务器进行模型的部署,或者使用通用协议从不同的框架创建模型集合。GraphPipe 可以帮助为依赖远程运行模型的物联网应用程序部署机器学习。

加载中

评论(1)

DGWIT
DGWIT
居然不支持dl4j

甲骨文宣布开源 GraphPipe,一种机器学习模型的新标准

这个高性能标准协议应该能使企业更容易从任何框架部署和查询机器学习模型。 机器学习有望改变行业现状。但是,它在企业中的应用速度比大家预期的要慢,因为这些组织很难自己部署和管理机器学...

08/16 08:08

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

八月新增开源项目:假装自己是图形界面的 Git 命令行工具

每月新增开源项目。顾名思义,每月更新一期。我们会从社区上个月新收录的开源项目中,挑选出有价值的、有用的、优秀的、或者好玩的开源项目来和大家分享。数量不多,但我们力求推荐的都是精品...

09/18 23:38
6.6K
8
谈谈机器学习模型的部署

随着机器学习的广泛应用,如何高效的把训练好的机器学习的模型部署到生产环境,正在被越来越多的工具所支持。我们今天就来看一看不同的工具是如何解决这个问题的。 上图的过程是一个数据科学...

10/05 03:00
1K
2
轻松扩展你的机器学习能力 : Kubeflow

提起机器学习,尤其是深度学习,大家可能会对诸如Tensorflow,Pytorch,Caffee的工具耳熟能详。但其实在实际的机器学习的生命周期中,训练模型(上述工具主要解决的问题)只是整个机器学习生...

09/17 02:40
323
0

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部