Volcano 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Volcano 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Volcano 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
开发语言 Google Go
操作系统 Linux
软件类型 开源软件
开源组织 华为
地区 国产
投 递 者 红薯
适用人群 未知
收录时间 2019-07-03

软件简介

Volcano 是基于 Kubernetes 的批处理系统,源自于华为云 AI 容器。Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。

整体架构

volcano

Volcano 提供一整套目前 K8S 在批量和弹性工作负载处理中缺失的机制,包括:

  1. 机器学习/深度学习
  2. 生物信息学/基因组学
  3. 其他“大数据”应用

这些类型的应用程序通常运行在Volcano集成的Tensorflow,Spark,PyTorch,MPI等通用域框架上。

Volcano为Kubernetes添加的机制和功能的一些例子:

  1. 作业管理的扩展和改进,如:
    1. Multi-pod 作业
    2. 生命周期管理扩展,包括挂起、恢复和重启
    3. 提升错误处理
    4. 作业的索引
    5. 任务依赖
  2. 调度扩展
    1. 联合调度
    2. 公平调度
    3. 队列调度
    4. 抢先和收回
    5. 预订和回填
    6. 基于拓扑逻辑的调度
  3. 运行时扩展
    1. 支持Singularity等专用容器运行时,具有GPU加速器扩展和增强的安全功能
  4. 其他
    1. 数据局部感知和智能调度
    2. 优化数据吞吐量,往返延迟等

Volcano建立在使用多个系统和平台大规模运行各种高性能工作负载的十五年经验之上,并结合了开源社区的最佳创意和实践。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(17) 发布并加入讨论🔥
发表了资讯
2023/09/22 18:22

OpenTiny 低代码开发引擎子项目 TinyEngine 正式发布

2023年9月21日,华为全联接大会2023 “开源创新,共筑智能世界”论坛在上海前滩香格里拉酒店圆满落幕。在此次开源分论坛上,华为云开源业务总经理邓明昆进行了题为《开源协同创新,加速云计算应用》的分享。 华为云开源业务总经理 邓明昆 邓明昆在分论坛演讲中提到:云原生技术以“分布式、松耦合、高韧性”等特征在企业基础架构升级及应用开发上展现出巨大的价值,越来越多企业开始基于云原生构建面向未来的创新服务。华为云深...

0
5
发表了资讯
2023/08/22 17:15

Volcano 社区 v1.8.0 版本正式发布  

Volcano 社区 v1.8.0 版本正式发布,此次版本增加了以下新特性: 支持vGPU调度及隔离 支持vGPU和用户自定义资源的抢占能力 新增JobFlow工作流编排引擎 节点负载感知调度与重调度支持多样化的监控系统 优化Volcano对通用服务调度的能力 优化Volcano charts包的发布与归档 支持vGPU调度及隔离 自 ChatGPT 爆火之后,AI大模型的研发层出不穷,不同种类的AI大模型也相继推出,由于其庞大的训练任务需要大量算力,以 GPU 为核心的算力...

1
3
发表了资讯
2022/06/19 07:17

​Volcano 社区 v1.6.0 版本正式发布

Volcano社区v1.6.0版本已正式发布。此次版本增加了弹性作业管理、基于真实负载的动态调度、 基于真实负载的重调度、Volcano Job插件——MPI等多个新特性。 Volcano v1.6.0 关键特性介绍 1.弹性作业调度 v1.6.0版本新增了弹性作业的调度支持,配合Volcano Job或Pytorch Job的弹性作业管理,实现AI训练任务、大数据分析的加速,同时结合云上的Spot instance 实现成本的缩减。 弹性作业允许Job的副本数在[min, max]范围弹性伸缩,其...

0
1
发表了资讯
2021/12/03 13:05

博云计划向 Volcano 社区捐赠作业流编排引擎 JobFlow

Volcano 是一个基于 Kubernetes 的云原生批量计算平台,也是 CNCF 的首个容器批量计算项目,主要用于 AI、大数据、基因、渲染等诸多高性能计算场景,对主流通用计算框架均有很好的支持。它提供面向高性能负载的调度策略、完善的作业生命周期管理、异构硬件管理、面向高性能负载的性能优化等能力,目前在很多领域都已落地应用。 目前 Volcano 已经支持几乎所有的主流计算框架,包括 MindSpore、TensorFlow、Kubeflow、MPI、PyTor...

0
13
发表了资讯
2021/03/07 07:20

Volcano 社区 v1.2.0 正式发布,基于 K8s 的容器批量计算平台

Volcano社区已正式发布v1.2.0版本。此次发布的1.2版本关键特性为支持TDM和SLA插件。 Volcano v1.2 关键特性介绍 SLA插件 SLA(Service Level Agreement)插件支持用户通过为作业定义最大预期等待时长的方式来进行调度优先级排序。 用户可以对单个作业打上名为“sla-waiting-time”的annotation,定义最大预期等待时长。equeue action和allocate action将比较作业的实际等待时长和最大预期等待时长的关系。若已超时,该作业将被直...

1
3
发表了资讯
2020/11/03 11:02

Volcano v1.1.0 发布,CNCF 唯一容器批量计算项目

10 月 30 日,Volcano 社区正式发布 v1.1.0 版本 。 Volcano 是基于 Kubernetes 构建的批量计算平台,源自于华为云 AI 容器,提供作业管理、批量调度、依赖管理、资源预留等能力,支持包括 TensorFlow、Spark、MPI、Slurm 在内的多个业界主流计算框架,主要帮助用户将 AI、大数据等资源消耗波动大、计算密集型的业务从传统的 Batch、HPC 系统快速迁移到云原生。Volcano 也是 CNCF 首个和唯一的容器批量计算项目。 新版本特性包括...

0
6
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
暂无内容
17 评论
161 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部