【里程碑】Linkis 1.0.0 正式发布

来源: 投稿
作者: 微众开源
2021-06-30

Linkis 1.0.0是 Linkis 践行“计算治理”的里程碑,提供了计算编排、一次性作业、Web前端和Linkis-Cli的全新shell命令提交代码方式,标志着 Linkis 正式进入1.0版本时代。

Linkis 1.0.0 作为正式版,主要提供了Linkis-Orchetrator计算编排、优化了大量“计算治理”的架构代码、增加了对OnceEngineConn一次性作业的支持,用于OLAP作业和Streaming作业、同时还简化了Linkis的安装部署。

通过 Orchestrator计算编排 和强大的标签管理能力,Linkis 1.0.0已经为跨集群/跨IDC 的细粒度路由、负载均衡、多租户、流量控制、资源管控和编排策略,例如 双活、混合计算等提供了扩展性足够强的架构基石,接下来只需要编写转换规则即可实现各个计算编排的能力。


新特性

Orchestrator

  • Linkis-746 新增Linkis Orchestrator核心模块,为Orchestrator模块提供顶层架构和扩展接口。
  • Linkis-739 新增Linkis交互式场景的Orchestrator模块。
  • Linkis-733 新增linkis-code-orchestrator模块,用于支持脚本编排场景。

EngineConn

  • Linkis-799 新增linkis-once-engineconn模块,用于支持一次性作业,如OLAP Job和Streaming Job。

Web

  • Linkis-757 新增Linkis前端web模块,提供全局历史、资源管理、参数配置、全局变量等模块。

Client

  • Linkis-754 新增Linkis-Cli模块,提供shell命令提交代码的新方式。

增强

  • Linkis-818 将Eureka中EngineConn修改为 Linkis-CG-EngineConn,以遵循命名规范。
  • Linkis-807 增强Linkis1.0.0通用模块,为其他模块提供大量工具类。
  • Linkis-805 使用Utils.tryCatch 捕获异常,而不是try...catch 直接catch异常。
  • Linkis-797 为所有日志添加中英文支持。
  • Linkis-789 一部分常量替换优化。
  • Linkis-788 优化 DESUtil 类中的一些魔法值。
  • Linkis-782 优化Linkis代码中的一些魔法值。
  • Linkis-781 优化错误码的定义。
  • Linkis-777 将publicservice与其他publicenhancement微服务合并,并增加了组合打包方式。
  • Linkis-775 优化Linkis计算治理模块,适配Linkis1.0新架构。
  • Linkis-768 删除所有注释代码并优化 HttpBmlClient 。
  • Linkis-767 优化类的规范性,去掉类顶部的所有@author和@Date。
  • Linkis-752 优化Linkis engineconn模块,适配Linkis1.0新架构。
  • Linkis-751 优化Linkis micro-service模块,适配Linkis1.0新架构。
  • Linkis-749 添加一个新的linkis-io-file-client 模块,修改一些注释并添加License。
  • Linkis-748 优化public-enhancements模块,适配Linkis1.0新架构。

Bugs修复

  • Linkis-825 解决SparkPythonExecutor的close方法中递归调用问题。
  • Linkis-816 修复多executor 的EngineConn场景下,仅关闭默认的executor而不是关闭所有executor的缺陷。
  • Linkis-815 修复 Orchestrator AsyncExec ResultSet等待器不会收到通知的缺陷并删除 Orchestrator 限制5000条结果集的约束。
  • Linkis-804 修复用户提交sql如'select*'时不会自动添加'limit 5000'的bug,可能会导致全表搜索,导致结果集很大。
  • Linkis-803 修复SSOUtils线程安全问题,可能导致OOM异常。
  • Linkis-787 修复hive版本升级导致的包冲突问题。
  • Linkis-780 修复Yarn capacity scheduler中RM模块的值转换问题。
  • Linkis-729 解决登录后cookies不生效,添加到Action的cookies没有被HttpClient传递到网关的问题.

贡献者

Linkis 1.0.0 的发布离不开 WeDataSphere 社区的贡献者。在此感谢各位社区的贡献者!


云资源

  1. 腾讯云:

https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Linkis/1.0.0/wedatasphere-linkis-1.0.0-combined-package-dist.tar.gz

展开阅读全文
6 收藏
分享
加载中
精彩评论
你好,WeDataSphere套件中每个系统并不是独立的,Linkis和DSS是基础框架,每个系统实际是框架上实现的插件式功能模块。跟dataworks体验类似,只不过dataworks没让你知道,他有IDE、可视化等模块而已。另外DSS拥有更强大的上下文功能,基于Linkis可以做到跨引擎间的上下文传递。Linkis 1.0新增的Orchestrator计算编排,会在后续去支持更加强大的多数据源的混算、多活等功能,欢迎关注。
2021-06-30 14:55
4
举报
最新评论 (2)
WeDataSphere产品体系设计有问题,每一个系统都是独立,解决系统有的人,发展到一定解决以后需要以后推到重来,大数据平台最好的换是阿里的dataworks一站式的设计,虽然现在现在功能太过臃肿。
新公司之前的大数据平台就是用一堆的开源软件搭建,也有linkis,各自功能相互独立,支持很多组件和功能,只是解决有的问题,发展过程会遇到很多问题。例如平台稳定后,真的需要调用shell 脚本需求吗? 从安全也是不允许的,数据平台总是强调调度平台功能,把调度和作业开发功能分离开,作业流需要单独维护,实际没有人维护的了作业流,作业之间依赖的是数据,一个大流有很多作业节点,多个不同开发人员,其实作业节点owner只需要关心上游节点或者表,真个作业流是系统自动生成的,这个比较好的设计就是dataworks里面作业的输入和输出设计。
缺乏数据生命周期管理,会导致用户每天要手动删数据。
2021-06-30 11:10
0
回复
举报
你好,WeDataSphere套件中每个系统并不是独立的,Linkis和DSS是基础框架,每个系统实际是框架上实现的插件式功能模块。跟dataworks体验类似,只不过dataworks没让你知道,他有IDE、可视化等模块而已。另外DSS拥有更强大的上下文功能,基于Linkis可以做到跨引擎间的上下文传递。Linkis 1.0新增的Orchestrator计算编排,会在后续去支持更加强大的多数据源的混算、多活等功能,欢迎关注。
2021-06-30 14:55
4
回复
举报
更多评论
2 评论
6 收藏
分享
返回顶部
顶部