Volcano

高性能任务调度引擎 Volcano

Apache
Google Go
Linux
华为
2019-07-03
红薯222

Volcano 是基于 Kubernetes 的批处理系统,源自于华为云 AI 容器。Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。

整体架构

volcano

Volcano 提供一整套目前 K8S 在批量和弹性工作负载处理中缺失的机制,包括:

  1. 机器学习/深度学习
  2. 生物信息学/基因组学
  3. 其他“大数据”应用

这些类型的应用程序通常运行在Volcano集成的Tensorflow,Spark,PyTorch,MPI等通用域框架上。

Volcano为Kubernetes添加的机制和功能的一些例子:

  1. 作业管理的扩展和改进,如:
    1. Multi-pod 作业
    2. 生命周期管理扩展,包括挂起、恢复和重启
    3. 提升错误处理
    4. 作业的索引
    5. 任务依赖
  2. 调度扩展
    1. 联合调度
    2. 公平调度
    3. 队列调度
    4. 抢先和收回
    5. 预订和回填
    6. 基于拓扑逻辑的调度
  3. 运行时扩展
    1. 支持Singularity等专用容器运行时,具有GPU加速器扩展和增强的安全功能
  4. 其他
    1. 数据局部感知和智能调度
    2. 优化数据吞吐量,往返延迟等

Volcano建立在使用多个系统和平台大规模运行各种高性能工作负载的十五年经验之上,并结合了开源社区的最佳创意和实践。

的码云指数为
超过 的项目
加载中
此软件有 17 条评论,请先登录后再查看。

暂无资讯

暂无问答

Volcano火山:容器与批量计算的碰撞

【摘要】 Volcano是基于Kubernetes构建的一个通用批量计算系统,它弥补了Kubernetes在“高性能应用”方面的不足,支持TensorFlow、Spark、MindSpore等多个领域框架,帮助用户通过Kubernetes构...

06/05 11:19
0
0
fxjwind Calcite分析 - Volcano模型

参考,https://matt33.com/2019/03/17/apache-calcite-planner/ Volcano模型使用,分为下面几个步骤, //1. 初始化 VolcanoPlanner planner = new VolcanoPlanner(); //2.addRelTrait pl...

2019/08/09 10:47
26
0
Kubernetes增强型调度器Volcano算法分析【华为云技术分享】

【摘要】 Volcano 是基于 Kubernetes 的批处理系统,源自于华为云开源出来的。Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理...

2019/12/10 18:09
46
0
Call For Contributor!送价值¥2048华为开发者大会(2020)门票

关于华为开发者大会(HDC 2020) 华为开发者大会2020(Cloud)将于2020年2月11日-12日在深圳举办,这是华为面向ICT(信息与通信)领域全球开发者的年度顶级旗舰活动。大会旨在搭建一个全球性...

2019/12/31 11:41
145
0
【Spark】Spark性能优化之Whole-stage code generation

一、技术背景 Spark1.x版本中执行SQL语句,使用的是一种最经典,最流行的查询求职策略,该策略主要基于 Volcano Iterator Model(火山迭代模型)。一个查询会包含多个Operator,每个Operato...

2018/06/15 14:05
27
0
JVM第三篇 — JVM是怎么工作的?

本文摘自: [http://blog.163.com/guixl_001/blog/static/41764104201082961141664/](http://blog.163.com/guixl_001/blog/static/41764104201082961141664/),并稍加整理。 ``` package de...

2016/05/29 14:43
211
0
聚焦技术架构—— 源创会89期【直播】

架构专场源创会89期 技术不断发展,各种系统架构也在不断演进。本次【OSC源创会】邀请了百度、蚂蚁金服、京东数科、苏宁易购一线技术专家,聚焦架构技术,与大家分享高性能负载优化架构、容器...

05/18 00:00
0
0
聚焦技术架构—— 源创会89期【直播】

架构专场源创会89期 技术不断发展,各种系统架构也在不断演进。本次【OSC源创会】邀请了百度、蚂蚁金服、京东数科、苏宁易购一线技术专家,聚焦架构技术,与大家分享高性能负载优化架构、容器...

05/18 17:40
29
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部