Spark Jobserver v0.1 发布

来源: 投稿
作者: melin1204
2022-09-08 14:24:00

主要特点

  1. 通过Rest API 提交spark 作业运行,支持sql,java/scala,python类型作业,解耦业务系统与spark 集群。
  2. Spark Job 运行资源相互隔离以及高可用性,每一个job 独立运行在一个Spark driver中。
  3. 预启动 Spark Driver,提高Job 启动速度,Driver 共享运行多个Job(同时只有一个job运行)
  4. 支持多Yarn集群部署,Client 提交Job 到指定集群运行。
  5. Driver 定制化,可以实现比较多能力,例如:表权限,碎片文件压缩,DQC等功能。
  6. 支持作业实例任务依赖(DAG),
  7. 支持kerberos 认证

https://github.com/melin/spark-jobserver

架构

展开阅读全文
点击加入讨论🔥(2) 发布并加入讨论🔥
2 评论
2 收藏
分享
返回顶部
顶部