Volcano 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Volcano 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Volcano 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Volcano 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Volcano 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !

软件简介

Volcano 是基于 Kubernetes 的批处理系统,源自于华为云 AI 容器。Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。

整体架构

volcano

Volcano 提供一整套目前 K8S 在批量和弹性工作负载处理中缺失的机制,包括:

  1. 机器学习/深度学习
  2. 生物信息学/基因组学
  3. 其他“大数据”应用

这些类型的应用程序通常运行在Volcano集成的Tensorflow,Spark,PyTorch,MPI等通用域框架上。

Volcano为Kubernetes添加的机制和功能的一些例子:

  1. 作业管理的扩展和改进,如:
    1. Multi-pod 作业
    2. 生命周期管理扩展,包括挂起、恢复和重启
    3. 提升错误处理
    4. 作业的索引
    5. 任务依赖
  2. 调度扩展
    1. 联合调度
    2. 公平调度
    3. 队列调度
    4. 抢先和收回
    5. 预订和回填
    6. 基于拓扑逻辑的调度
  3. 运行时扩展
    1. 支持Singularity等专用容器运行时,具有GPU加速器扩展和增强的安全功能
  4. 其他
    1. 数据局部感知和智能调度
    2. 优化数据吞吐量,往返延迟等

Volcano建立在使用多个系统和平台大规模运行各种高性能工作负载的十五年经验之上,并结合了开源社区的最佳创意和实践。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (17)

加载中
怎么感到 Volcano 像k8s的大管家
2019/08/03 08:29
回复
举报
只是支持计算类任务,其它的暂时不在处理范围内 :)
2019/11/16 18:20
回复
举报
希望你是一个不犯错的人
2019/07/05 12:03
回复
举报
话说百度搞AI那么久,但投放市场的产品缺少的可怜。
2019/07/03 17:13
回复
举报
要不能让人泼水!
2019/07/03 18:16
回复
举报
国内有哪一家可以与百度AI比?甚至放在美国也是毫不逊色,有些甚至是国际领先!
2019/07/03 18:55
回复
举报
话说:方向不对越多越反动. 让人害怕的不是它搞得不好,而是其搞得技术更厉害,杀人也就更厉害。
2019/07/04 10:57
回复
举报
我觉得这是偏见,百度做的好事很多,就举一个例子,AI寻人。有过错是真的,关键是在大刀阔斧的改正嘛。其实不管是哪一家企业都有过很多过错,类比像谷歌,那才是真正的作恶。
2019/07/04 12:58
回复
举报
杀一人救一人,罪呼?再说,找的人远远没有被它坑的人多吧? 至于君子贱,你看我对他的称呼就知道我对它的态度了。
2019/07/05 11:14
回复
举报
为什么非要开源呢?自己花大力气开发出来的,什么结果还不知道呢就开源?
2019/07/19 18:50
回复
举报
intel inside。我没有黑的意思。真的没有。
2019/07/03 14:40
回复
举报
哦?是说硬件? https://github.com/IntelAI/nauta 在用我们的东西哦 (Volcano/kube-batch).
2019/11/16 18:24
回复
举报
帮我挖几个比特币我就信算力高
2019/07/03 13:36
回复
举报
哈哈,Volcano 会提高分布式集群的线性加速比,但是替代不了硬件啊 :)
2019/11/16 18:36
回复
举报
2019/07/03 13:02
回复
举报
顶一个
2019/07/03 12:26
回复
举报
消灭零回复
2019/07/03 11:39
回复
举报
更多评论
发表于云计算专区
2020/11/03 11:02

Volcano v1.1.0 发布,CNCF 唯一容器批量计算项目

10 月 30 日,Volcano 社区正式发布 v1.1.0 版本 。 Volcano 是基于 Kubernetes 构建的批量计算平台,源自于华为云 AI 容器,提供作业管理、批量调度、依赖管理、资源预留等能力,支持包括 TensorFlow、Spark、MPI、Slurm 在内的多个业界主流计算框架,主要帮助用户将 AI、大数据等资源消耗波动大、计算密集型的业务从传统的 Batch、HPC 系统快速迁移到云原生。Volcano 也是 CNCF 首个和唯一的容器批量计算项目。 新版本特性包括...

0
6
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表于开源治理专区
2020/12/08 10:12

Volcano 监控设计原理解读

:你填了吗?2020年CNCF中国云原生问卷 问卷链接(https://www.wjx.cn/jq/97146486.aspx) Volcano 是一个 Kubernetes 云原生的批量计算平台,也是CNCF的首个批量计算项目。 Volcano 方便AI,大数据,基因,渲染等诸多行业通用计算框架介入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。 监控目标态设计 为AI调度系统开发监控的目的 随着集群规模的扩张和调度规模的变大,调度效率和调度公平性的追...

0
0
发表于开源治理专区
01/14 11:24

Volcano架构设计与原理介绍

:明天截止,你填了吗? 10人将获赠CNCF商店$100美元礼券! 来参与2020年CNCF中国云原生调查 问卷链接(https://www.wjx.cn/jq/97146486.aspx) Volcano是一个基于Kubernetes的云原生批量计算平台,也是CNCF的首个批量计算项目。 Volcano 主要用于AI、大数据、基因、渲染等诸多高性能计算场景,对主流通用计算框架均有很好的支持。它提供高性能计算任务调度,异构设备管理,任务运行时管理等能力,目前在很多领域都已落地应用。...

0
0
发表于云计算专区
01/28 10:24

Maintainer 聚光灯:KubeEdge 和 Volcano 的王泽锋

10人将获赠CNCF商店$100美元礼券! 你填了吗? 问卷链接(https://www.wjx.cn/jq/97146486.aspx) 本月我们要重点介绍王泽锋(Kevin Wang),他是 CNCF 社区的长期贡献者,华为云原生开源团队的负责人,KubeEdge 和 Volcano 项目的联合创始人。 Kevin 回答了几个关于他过去五年在 CNCF 社区的经历相关问题。 告诉我们你是如何开始参与 CNCF 社区的。 我与 Kubernetes 和 CNCF 社区的旅程始于 2015 年。当时,我正在帮助一些客户...

0
0
发表于云计算专区
2020/08/12 10:00

Volcano 1.0:分布式调度系统漫谈

今年(2020)7月初,Volcano 发布了1.0版本。1.0做为里程碑版本,在Volcano整个规划中起到了承上启下的作用。 此次发布的1.0版本支持了GPU共享,作业动态扩缩容,批任务抢占等功能,并主要加强了稳定性;同时,在1.0发布后 Volcano也在线下讨论了分布式调度系统的未来发展趋势等。 作者 | 华为云原生团队 分布式调度系统的历史 在分析趋势之前,我们先看一下分布式调度系统的历史。早期分布式调度系统以批处理系统为主,例如九几年...

0
0
2020/06/05 11:19

Volcano火山:容器与批量计算的碰撞

【摘要】 Volcano是基于Kubernetes构建的一个通用批量计算系统,它弥补了Kubernetes在“高性能应用”方面的不足,支持TensorFlow、Spark、MindSpore等多个领域框架,帮助用户通过Kubernetes构建统一的容器平台。 Kubernetes 是当前非常流行的容器编排框架,在其发展早期重点以微服务类应用为主。随着Kuberentes的用户越来越多,更多的用户希望在Kubernetes上运行BigData和AI框架,如Spark、TensorFlow等以构建统一的容器平台。但...

0
0
01/28 10:54

Volcano 监控设计解读,一看就懂

摘要:Volcano 方便AI,大数据,基因,渲染等诸多行业通用计算框架介入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。 Volcano 是一个 Kubernetes 云原生的批量计算平台,也是CNCF的首个批量计算项目。 Volcano 方便AI,大数据,基因,渲染等诸多行业通用计算框架介入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。 监控目标态设计 为AI调度系统开发监控的目的 随着集...

0
0
发表于云计算专区
2020/11/03 10:40

Volcano社区正式发布v1.1.0版本

北京时间2020年10月30日,Volcano社区正式发布v1.1.0版本。作为CNCF首个也是唯一的容器批量计算项目。Volcano的本次版本发布成为自三个月前v1.0.0发布后又一重要里程碑。 Volcano是基于Kubernetes构建的下一代批量计算平台,提供作业管理、批量调度、依赖管理、资源预留等能力,支持包括TensorFlow、Spark、MPI、Slurm在内的多个业界主流计算框架,主要帮助用户将AI、大数据等资源消耗波动大、计算密集型的业务从传统的Batch、H...

0
0
01/29 10:48

一文带你解读Volcano架构设计与原理

摘要:Volcano主要是基于Kubernetes做的一个批处理系统,希望上层的HPC、中间层大数据的应用以及最下面一层AI能够在统一Kubernetes上面运行的更高效。 Volcano产生的背景 上图是我们做的一个分析,我们将其分为三层,最下面为资源管理层,中间为领域的框架,包括AI的体系、HPC、Batch, WKflow的管理以及像现在的一些微服务及流量治理等。再往上是行业以及一些行业的应用。 随着一些行业的应用变得复杂,它对所需求的解决方案也...

0
0
发表于云计算专区
2020/11/13 11:11

Volcano设计原理全面解读,一看就懂!

Volcano是一个Kubernetes云原生的批量计算平台,也是CNCF的首个批量计算项目。 Volcano 方便AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。本篇文章将从Volcano的设计原则来带大家更进一步了解Volcano。 点击查看Volcano的架构解读: Volcano架构解读:基于Kubernetes的云原生批量计算平台 先来了解一些基本概念: Queue: 队列,Cluster级别的资...

0
0
发表于开源治理专区
2020/12/17 11:22

Volcano作业资源预留设计原理解读

:期待你来填:2020年CNCF中国云原生问卷 问卷链接(https://www.wjx.cn/jq/97146486.aspx) Volcano是一个基于Kubernetes的云原生批量计算平台,也是CNCF的首个批量计算项目。 Volcano 主要用于AI、大数据、基因、渲染等诸多高性能计算场景,对主流通用计算框架均有很好的支持。它提供高性能计算任务调度,异构设备管理,任务运行时管理等能力。本篇文章将深度剖析Volcano重要特性之——资源预留。 资源预留(Reservation)是批...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
17 评论
158 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部