高性能任务调度引擎 Volcano

高性能任务调度引擎 Volcano

Apache
Google Go
Linux
华为
2019-07-03
红薯

Volcano 是基于 Kubernetes 的批处理系统,源自于华为云 AI 容器。Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。

整体架构

volcano

Volcano 提供一整套目前 K8S 在批量和弹性工作负载处理中缺失的机制,包括:

  1. 机器学习/深度学习
  2. 生物信息学/基因组学
  3. 其他“大数据”应用

这些类型的应用程序通常运行在Volcano集成的Tensorflow,Spark,PyTorch,MPI等通用域框架上。

Volcano为Kubernetes添加的机制和功能的一些例子:

  1. 作业管理的扩展和改进,如:
    1. Multi-pod 作业
    2. 生命周期管理扩展,包括挂起、恢复和重启
    3. 提升错误处理
    4. 作业的索引
    5. 任务依赖
  2. 调度扩展
    1. 联合调度
    2. 公平调度
    3. 队列调度
    4. 抢先和收回
    5. 预订和回填
    6. 基于拓扑逻辑的调度
  3. 运行时扩展
    1. 支持Singularity等专用容器运行时,具有GPU加速器扩展和增强的安全功能
  4. 其他
    1. 数据局部感知和智能调度
    2. 优化数据吞吐量,往返延迟等

Volcano建立在使用多个系统和平台大规模运行各种高性能工作负载的十五年经验之上,并结合了开源社区的最佳创意和实践。

的码云指数为
超过 的项目
加载中

评论(13)

dzfking007
dzfking007
给大家推荐一个很不错的接包网站,http://5511code.com
代码天下
代码天下
希望你是一个不犯错的人
爱喝貓的咖啡
爱喝貓的咖啡
话说百度搞AI那么久,但投放市场的产品缺少的可怜。
萧萧恋
萧萧恋
要不能让人泼水!
代码天下
代码天下
国内有哪一家可以与百度AI比?甚至放在美国也是毫不逊色,有些甚至是国际领先!
久永
久永
话说:方向不对越多越反动. 让人害怕的不是它搞得不好,而是其搞得技术更厉害,杀人也就更厉害。
代码天下
代码天下
我觉得这是偏见,百度做的好事很多,就举一个例子,AI寻人。有过错是真的,关键是在大刀阔斧的改正嘛。其实不管是哪一家企业都有过很多过错,类比像谷歌,那才是真正的作恶。
久永
久永
杀一人救一人,罪呼?再说,找的人远远没有被它坑的人多吧? 至于君子贱,你看我对他的称呼就知道我对它的态度了。
捍卫机密
捍卫机密
intel inside。我没有黑的意思。真的没有。
筱飞
筱飞
帮我挖几个比特币我就信算力高
北•野
北•野
顶一个
沙发迪
沙发迪
消灭零回复

暂无资讯

暂无问答

JVM第三篇 — JVM是怎么工作的?

本文摘自: [http://blog.163.com/guixl_001/blog/static/41764104201082961141664/](http://blog.163.com/guixl_001/blog/static/41764104201082961141664/),并稍加整理。 ``` package de...

2016/05/29 14:43
141
0
云原生生态周报 Vol.9| K8s v1.15 版本发布

本周作者 | 衷源、心贵 业界要闻 1、Kubernetes Release v1.15 版本发布,新版本的两个主题是持续性改进和可扩展性。(https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1....

07/09 13:23
3
0
PostgreSQL 优化器代码概览

简介 PostgreSQL 的开发源自上世纪80年代,它最初是 Michael Stonebraker 等人在美国国防部支持下创建的POSTGRE项目。上世纪末,Andrew Yu 等人在它上面搭建了第一个SQL Parser,这个版本称为...

02/18 15:46
16
0
PostgreSQL 优化器代码概览

简介 PostgreSQL 的开发源自上世纪80年代,它最初是 Michael Stonebraker 等人在美国国防部支持下创建的POSTGRE项目。上世纪末,Andrew Yu 等人在它上面搭建了第一个SQL Parser,这个版本称为...

02/18 15:29
13
0
MaxCompute 中的Code Generation技术简介

摘要: 前言 在《数据库系统中的Code Generation技术介绍》中,我们简单介绍了一下Code Generation技术及其在大规模OLAP系统,特别是大规模分布式OLAP系统中的重要性。MaxCompute采用了Code ...

2018/03/27 14:25
10
0
MaxCompute 中的Code Generation技术简介

摘要: 前言 在《数据库系统中的Code Generation技术介绍》中,我们简单介绍了一下Code Generation技术及其在大规模OLAP系统,特别是大规模分布式OLAP系统中的重要性。MaxCompute采用了Code ...

2018/03/27 14:34
10
0
the actual transportation

Sapporo is the vehicles center regarding Hokkaido. To be able to facilitate the actual transportation, visitors will choose the surrounding section of JR train station to accomm...

2016/12/05 11:21
1
0
advised to alter their lifestyl

advised to alter their lifestyl

2015/06/04 13:17
6
0
Hive 基于成本的优化器

Introducing Cost Based Optimizer to Apache Hive John Pullokkaran Hortonworks 10/08/2013 Abstract Apache Hadoop is a framework for the distributed processing of large data sets u...

2015/01/06 00:27
114
0
Hotpot Java虚拟机Class对象是在方法区还是堆中

Class对象是存放在堆区的,不是方法区,这点很多人容易犯错。类的元数据(元数据并不是类的Class对象。Class对象是加载的最终产品,类的方法代码,变量名,方法名,访问权限,返回值等等都是...

2017/10/28 11:19
146
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部