Kubeflow 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Kubeflow 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Kubeflow 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Kubeflow 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Kubeflow 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache
开发语言 Python 查看源码 »
操作系统 跨平台
软件类型 开源软件
开源组织 Google
地区 不详
提 交 者 周其
适用人群 未知
收录时间 2017-12-12

软件简介

Kubeflow 是谷歌发布的一个机器学习工具库,Kubeflow 项目旨在使 Kubernetes 上的机器学习变的轻松、便捷、可扩展,其目标不是重建其他服务,而是提供一种简便的方式找到最好的 OSS 解决方案。该库包含包含的清单用于创建:

  • 用于创建和管理交互式 Jupyter notebook 的 JupyterHub

  • 可配置为使用 CPU 或 GPU,并通过单一设置调整至单个集群大小的 TensorFlow 训练控制器(Tensorflow Training Controller)

  • TF 服务容器(TF Serving container)

该文档详述在可运行 Kubernetes 的任何环境中运行 kubeflow 项目的步骤。

Kubeflow 目标

其目标是通过发挥 Kubernetes 的特长,从而更便捷地运用机器学习:

  • 在不同的基础设施上实现简单、可重复的便携式部署(笔记本<-> ML 装备 <-> 训练集群 <-> 生产集群)

  • 部署和管理松散耦合的微服务

  • 根据需求进行扩展

由于机器学习从业者可供使用的工具非常多,所以核心目标是你可以根据需求自定义堆栈,并让系统处理无赖的东西」。虽然我们已开始使用少许技术,但我们正在与很多不同项目展开合作,以涵盖更多额外的工具。最终,我们希望给出一组简单的清单,只要在 Kubernetes 已运行的地方便能轻松使用 ML 堆栈,并可根据部署的集群实现自我配置。

设置

该文档假设你已经有一个可用的 Kubernetes 集群。对于具体的 Kubernetes 安装,可能需要额外的配置。

Minikube

Minikube 是一个让我们在本地运行 Kubernetes 更方便的工具。Minikube 会在笔记本的虚拟环境中运行一个单结点 Kubernetes 集群,从而令用户可以在该环境中试验它或执行日常的开发工作。下面的步骤适用于 Minikube 集群,本文档当前使用的是最新版 0.23.0,我们必须配置 Kubectl 才能访问 Minikube。

谷歌 Kubernetes 引擎

谷歌 Kubernetes 引擎是一个可用于部署容器化应用的托管环境。它融合了提高开发生产力、有效利用资源、自动化运维和开源灵活性方面的最新创新技术,能够加快模型进入市场以及迭代的时间。

谷歌在容器中运行生产工作负载的经验已超过 15 年,他们将在此期间学到的经验知识融入到了 Kubernetes 中。因此,Kubernetes 是行业领先的开源容器协调系统,为 Kubernetes Engine 提供技术支持。

如果读者正在使用谷歌 Kubernetes 引擎,在创建清单前,我们应该先授予自己所要求的 RBAC 角色,因而才能创建或编辑其它 RBAC 角色。

kubectl create clusterrolebinding default-admin --clusterrole=cluster-admin --user=user@gmail.com
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (3)

加载中
mark
2017/12/22 23:56
回复
举报
Mark,Mark
2017/12/16 22:38
回复
举报
Mark
2017/12/12 14:36
回复
举报
更多评论
发表于AI & 大数据专区
2020/03/06 07:45

k8s 机器学习工具包 Kubeflow 发布 1.0 稳定版

Kubeflow 首个重要版本 1.0 已发布,Kubeflow 原本称作 TensorFlow Extended,是谷歌内部用于将 TensorFlow 模型部署到 Kubernetes 的平台,现在的的名称取自 Kubernetes + Tensorflow。Kubeflow 也是首个针对 Kubernetes,提供可移植与可扩展的机器学习解决方案,让用户利用机器学习来调度在 Kubernetes 上执行的复杂工作流。 随着此版本的发布,一批用于在 Kubernetes 上有效开发、构建、训练和部署模型的稳定应用程序也即将毕...

1
18
发表于AI & 大数据专区
2019/01/06 08:02

Kubeflow 公布 1.0 路线图:2019 年实现 API 稳定

Kubeflow,名字取自 Kubernetes + Tensorflow ,是 Google 为了支持 Tensorflow 的部署而推出的开源平台。Kubeflow 旨在使 Kubernetes 上的机器学习变的轻松、便捷、可扩展,其目标不是重建其他服务,而是提供一种简便的方式找到最好的 OSS 解决方案。Kubeflow 的目标是通过发挥 Kubernetes 的特长,从而更便捷地运用机器学习: 在不同的基础设施上实现简单、可重复的便携式部署 部署和管理松散耦合的微服务 根据需求进行扩展 ...

1
26
发表于AI & 大数据专区
2018/05/07 07:55

Kubeflow 0.1 发布,基于 Kubernetes 的机器学习工具库

Google 发布了 Kubeflow 开源工具 0.1 版本,该工具旨在将机器学习带入 Kubernetes 容器的世界。该项目背后的想法是让数据科学家充分利用在 Kubernetes 集群上运行机器学习任务的优势。Kubeflow 可以让机器学习团队将现有任务轻松放到集群中运行,而无需作出太多改变。 随着 0.1 版本的发布,该项目将开始推进,并将通过博客公布里程碑,将稳定性提高到一个新的水平,同时还会增加大量社区一直呼吁的新功能。其中包括为 Jupyte...

1
8
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表于开发技能专区
2020/01/03 19:54

kubeflow系列(二):kubeflow组件剖析大全

> kubeflow作为基于云原生的机器学习大礼包,即可以作为一个很好的云原生的学习例子,同时基于k8s的生态必将是未来的发展的方向,相信后续Mxnet、paddle等各类型技术框架也都会运行在kubernetes这个生态之上。 为了对kubeflow有个更直观深入的了解,对kubeflow的各组件进行简单的介绍,先从机器学习任务来看kubeflow的的实现。 ## 机器学习任务工程化实现流程 一个建模任务下来主要可以分为四大块任务 - 业务理解(Business Und...

0
2
2020/06/16 12:24

KubeFlow 1.02部署

Kubeflow 部署(使用 kfctl_k8s_istio) 安装 Kubeflow的一些指南(使用 kfctl_k8s_istio 配置部署到已有的Kubernetes集群中)。该配置清单创建Kubeflow的核心部件部署,但不包括外部依赖,可以根据您的环境需要进行优化。 前期工作 该Kubeflow deployment要求 StorageClass 支持 dynamic volume provisioner。确认缺省的StorageClass的 provisioner 域的设置。如果换没有 provisioner, 确保配置了 volume provisioning,按照下...

0
0
发表于开源治理专区
2020/01/06 20:13

机器学习与Kubernetes & Kubeflow

随着人类社会的进步发展,人们已经不满足单纯的使自己变得更聪明,进而在研究,能否让自己的劳动工具也变的智能,从而最大程度的辅助自己。让机器来学习,这种行为就是在这样背景下应运而生的。 众所周知的是,学习是智慧人类特有的行为,其目的是为了解决问题与挑战。那么,机器学习会解决什么问题呢?对的,你答对了,是在解决我们组织所面对的各种业务问题,包括经营,包括管理,甚至细致到了方方面面;而且,由于它是依托于...

0
0
发表于开源治理专区
2020/05/20 08:25

机器学习与Kubernetes & Kubeflow

随着人类社会的进步发展,人们已经不满足单纯的使自己变得更聪明,进而在研究,能否让自己的劳动工具也变的智能,从而最大程度的辅助自己。让机器来学习,这种行为就是在这样背景下应运而生的。 众所周知的是,学习是智慧人类特有的行为,其目的是为了解决问题与挑战。那么,机器学习会解决什么问题呢?对的,你答对了,是在解决我们组织所面对的各种业务问题,包括经营,包括管理,甚至细致到了方方面面;而且,由于它是依托于...

0
0
2018/05/06 16:06

Kubeflow 快速入门

机器学习笔记,https://feisky.xyz/machine-learning/ https://kairen.github.io/2018/03/21/kubernetes/k8s-federation/ Kubeflow 快速入门 Kubeflow 是 Google 发布的用于在 Kubernetes 集群中部署和管理 tensorflow 任务的框架。主要功能包括 用于管理 Jupyter 的 JupyterHub 服务 用于管理训练任务的 Tensorflow Training Controller 用于模型服务的 TF Serving 容器 部署 部署之前需要确保 一套部署好的 Kubernetes 集群或...

0
6
2019/05/13 08:21

kubeflow meetup之旅

5月11号去上海参加了一场kubeflow meetup,说实话这是我第一次参加这种技术分享会议。内心一开始还是很期待的。 kubeflow meetup 这次kubeflow meetup主要是分享如何将kubernetes和AI进行落地。第一场是vmware的技术总监分享了共享GPU方便的进展,这个还是很有启发的,因为目前使用kubernetes来进行深度学习的落地,很大的一个问题是GPU无法共享,导致GPU很容易造成浪费。但是分享下来,最大的缺点是目前vmware的解决方案需要依...

0
0
发表于云计算专区
2018/05/08 07:49

Kubeflow 使用指南

Kubeflow 使用指南 本文根据 https://github.com/openthings/kubeflow/blob/master/user_guide.md 翻译。 本文地址 https://my.oschina.net/u/2306127/blog/1808582,By openthings,2018.05.23. Kubeflow(https://github.com/kubeflow)是基于Kubernetes(https://kubernets.io,容器编排与管理服务软件)和TensorFlow(https://tensorflow.org,深度学习库)的机器学习流程工具,使用Ksonnet进行应用包的管理。 本文简要介绍K...

2
3
发表了博客
2020/06/28 08:52

kubeflow fairing详解

官方git地址:https://github.com/kubeflow/fairing backends backends为k8s集群,可以是local,也可以是各种云的k8s服务。 builders builders为构建镜像的模块。 append为在原有镜像层的基础上添加一层封装 cluster 为在k8s集群中构建镜像 azurestorage_context 微软存储服务 cos_context ibm的存储服务 gcs_context 谷歌云存储 minio_context 是一个对象存储服务(可以用来存储镜像)。它兼容亚马逊s3云存储服务接口,非常适合...

0
0
发表于开源治理专区
2020/07/17 14:15

机器学习与Kubernetes & Kubeflow

随着人类社会的进步发展,人们已经不满足单纯的使自己变得更聪明,进而在研究,能否让自己的劳动工具也变的智能,从而最大程度的辅助自己。让机器来学习,这种行为就是在这样背景下应运而生的。 众所周知的是,学习是智慧人类特有的行为,其目的是为了解决问题与挑战。那么,机器学习会解决什么问题呢?对的,你答对了,是在解决我们组织所面对的各种业务问题,包括经营,包括管理,甚至细致到了方方面面;而且,由于它是依托于...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了问答
2019/09/11 15:32

ElasticDL:首个基于 TensorFlow 实现弹性深度学习的开源系统

9 月 11 日,蚂蚁金服开源了 ElasticDL 项目,据悉这是业界首个基于 TensorFlow 实现弹性深度学习的开源系统。 Google Brain 成员 Martin Wicke 此前在公开邮件中透露了 TensorFlow 2.0 的规划,他提到 Eager Execution 将是 2.0 的核心功能。TensorFlow 2.0 还没有正式发布,但是在目前推出的新版本中已经添加了该强大特性。 简单来讲,TensorFlow Eager Execution 是一种命令式接口,类比 PyTorch,开发者在调用其进行计算时可...

16
61
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
3 评论
67 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部