ModelMesh Serving 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
ModelMesh Serving 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
ModelMesh Serving 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !

软件简介

ModelMesh Serving 是管理 ModelMesh 的控制器,是一个通用的模型服务管理/路由层。

入门

要快速开始使用 ModelMesh Serving,请查看快速入门指南

如需帮助,请在此仓库中打开一个 issue

组件及其仓库

ModelMesh Serving 当前包含分布在多个仓库中的组件。此处记录了最新版本的受支持版本。

 

在这个 repo 中集中跟踪所有组件的问题。

核心组件

运行时适配器

  • modelmesh-runtime-adapter - 在每个模型服务 pod 中运行的容器,并充当 ModelMesh 和第三方模型服务器容器之间的中介。它的构建会生成一个单一的“多用途”映像,该映像可用作适配器以与每个开箱即用的支持模型服务器配合使用。它还包含“puller”逻辑,负责在移交给相应的适配器逻辑以加载模型(并在卸载后删除)之前从存储中检索模型。此映像还用于自定义ServingRuntimePod的加载/卸载路径中的容器,作为“独立”拉取器。

模型服务运行时

ModelMesh Serving 提供与以下模型服务器的开箱即用集成。

ServingRuntime自定义资源可用于添加对其他现有或自定义模型服务器的支持,请参阅有关实现自定义服务运行时的文档

补充

  • KServe V2 REST 代理- 将 RESTful HTTP API 转换为 gRPC 的反向代理服务器。这允许使用 KServe V2 REST 预测协议将推理请求发送到当前仅支持 V2 gRPC 预测协议的 ModelMesh 模型。

这些是 ModelMesh 组件使用的辅助 Java 库。

  • kv-utils - 在 etcd 和 Zookeeper 上抽象的有用的 KV 存储配方
  • litelinks-core - 基于 Apache Thrift 的 RPC/服务发现库,仅用于 ModelMesh 内部的通信。

构建镜像

# Build develop image
make build.develop

# After building the develop image,  build the runtime image
make build
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
10/19 08:23

IBM 开源 ModelMesh,使开发者能够大规模部署 AI 模型

IBM 近日宣布,已将其用于公司内部的 ModelMesh 模型服务开源,并贡献给 KServe 开源社区。ModelMesh 专为大规模、高密度和频繁变化的模型用例而设计,可以帮助开发者扩展 Kubernetes。 模型服务是人工智能领域的一个重要组成部分。它使用人工智能模型中提供的推理来响应用户的请求。那些接触过企业级机器学习应用的用户或开发者应该知道,它们通常不是由一个模型提供推理,实际上是由数百甚至数千个模型在串联运行。由于 AI 模...

0
14
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2019/09/02 14:50

Knative Serving 进阶: Knative Serving SDK 开发实践

导读:通过前面的一系列文章你已经知道如何基于 kubectl 来操作 Knative 的各种资源。但是如果想要在项目中集成 Knative 仅仅使用 kubectl 这种命令的方式是不够的,还需要在代码中基于 Knative Serving SDK 进行集成开发。本篇文章中,阿里云智能事业群技术专家冬岛将从 Knative Serving SDK 入手,介绍如何基于 Knative SDK 进行 serverless 开发。 Golang Context 在正式开始介绍 Knative Serving SDK 之前,我们先简单介绍一...

0
0
2019/08/30 13:02

Knative Serving 进阶: Knative Serving SDK 开发实践

![](https://oscimg.oschina.net/oscnet/9c374e5a56b3c58210a26f547c1757223d6.jpg) 作者 | 阿里云智能事业群技术专家 牛秋霖(冬岛) > **导读**:通过前面的一系列文章你已经知道如何基于 kubectl 来操作 Knative 的各种资源。但是如果想要在项目中集成 Knative 仅仅使用 kubectl 这种命令的方式是不够的,还需要在代码中基于 Knative Serving SDK 进行集成开发。本篇文章中,阿里云智能事业群技术专家冬岛将从 Knative Serv...

0
0
发表了博客
2019/09/02 14:43

Knative Serving 进阶: Knative Serving SDK 开发实践

作者 | 阿里云智能事业群技术专家 牛秋霖(冬岛) 导读:通过前面的一系列文章你已经知道如何基于 kubectl 来操作 Knative 的各种资源。但是如果想要在项目中集成 Knative 仅仅使用 kubectl 这种命令的方式是不够的,还需要在代码中基于 Knative Serving SDK 进行集成开发。本篇文章中,阿里云智能事业群技术专家冬岛将从 Knative Serving SDK 入手,介绍如何基于 Knative SDK 进行 serverless 开发。 Golang Context 在正式开始...

0
0
发表于软件架构专区
2020/12/08 13:42

knative-serving初探

- 介绍 1. knative是流行的serverless框架,目前参与的公司主要是 Google、Pivotal、IBM、Red Hat,目前迭代很快 1. knative 是建立在 kubernetes 和 istio 平台之上的,使用 kubernetes 提供的容器管理能力(deployment、replicaset、和 pods等),以及 istio 提供的网络管理功能(ingress、LB、dynamic route等) 1. 对比kubeless,knative发展更快,大公司支持多 1. knative可方便快速部署你的服务(docker镜像+一条命令),...

0
0
发表于服务端专区
2016/11/02 09:09

TensorFlow Serving 尝尝鲜

作者:Mao Chan BitTiger尊重原创版权,转载已经过作者授权。 2016年,机器学习在 Alpha Go 与李世石的世纪之战后变得更加炙手可热。Google也在今年推出了 TensorFlow Serving 又加了一把火。 TensorFlow Serving 是一个用于机器学习模型 serving 的高性能开源库。它可以将训练好的机器学习模型部署到线上,使用 gRPC 作为接口接受外部调用。更加让人眼前一亮的是,它支持模型热更新与自动模型版本管理。这意味着一旦部署 Tens...

0
16
发表了博客
2019/05/21 16:07

从HelloWorld看Knative Serving代码实现

概念先知 官方给出的这几个资源的关系图还是比较清晰的: 1.Service: 自动管理工作负载整个生命周期。负责创建route,configuration以及每个service更新的revision。通过Service可以指定路由流量使用最新的revision,还是固定的revision。 2.Route:负责映射网络端点到一个或多个revision。可以通过多种方式管理流量。包括灰度流量和重命名路由。 3.Configuration:负责保持deployment的期望状态,提供了代码和配置之间清晰的分离...

0
0
发表了博客
2019/08/19 11:04

Knative Serving 之路由管理和 Ingress

Knative 默认会为每一个 Service 生成一个域名,并且 Istio Gateway 要根据域名判断当前的请求应该转发给哪个 Knative Service。Knative 默认使用的主域名是 example.com,这个域名是不能作为线上服务的。本文我首先介绍一下如何修改 默认主域名,然后再深入一层介绍如何添加自定义域名以及如何根据 path 关联到不同的 Knative Service。 Knative Serving 的默认域名 example.com 首先需要部署一个 Knative Service。如果你已经...

0
0
2019/11/08 13:48

Knative Serving 健康检查机制分析

![file](https://oscimg.oschina.net/oscnet/4b90746591cf88fa47712a0755733b4bf2e.jpg) 作者| 阿里云智能事业群技术专家牛秋霖(冬岛) > **导读**:从头开发一个Serverless引擎并不是一件容易的事情,今天咱们就从Knative的健康检查说起。通过健康检查这一个点来看看Serverless模式和传统的模式都有哪些不同,以及Knative针对Serverless场景都做了什么思考。 Knative Serving 模块的核心原理如下图所示,图中的 Route 可以理解...

0
0
2019/05/22 11:29

从HelloWorld看Knative Serving代码实现

摘要: Knative Serving以Kubernetes和Istio为基础,支持无服务器应用程序和函数的部署并提供服务。我们从部署一个HelloWorld示例入手来分析Knative Serving的代码细节。 概念先知 官方给出的这几个资源的关系图还是比较清晰的: 1.Service: 自动管理工作负载整个生命周期。负责创建route,configuration以及每个service更新的revision。通过Service可以指定路由流量使用最新的revision,还是固定的revision。 2.Route:负责映射...

1
1
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
4 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部