Linkis 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Linkis 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Linkis 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Linkis 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Linkis 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !

软件简介

Linkis是一个打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。

Linkis基于微服务架构,提供了金融级多租户隔离、资源管控、权限隔离等企业级特性,支持统一变量、UDF、函数、用户资源文件管理,具备高并发、高性能、高可用的大数据作业/请求全生命周期管理能力。

Linkis效果图
 

基于Linkis计算中间件的架构设计理念,在上层构建了很多的应用系统。

  • 目前已开源的有:数据研发IDE工具Scriptis

  • 即将开源的有:数据可视化展示工具图形化工作流工具数据质量工具

 

核心特点:

  • 统一作业执行服务:一个分布式的REST/WebSocket服务,用于接收用户提交的各种脚本请求。

    目前支持的计算引擎有:Spark、Python、TiSpark、Hive和Shell等。

    支持的脚本语言有:SparkSQL、Spark Scala、Pyspark、R、Python、HQL和Shell等;

  • 资源管理服务: 支持实时管控每个系统和用户的资源使用情况,限制系统和用户的资源使用量和并发数,并提供实时的资源动态图表,方便查看和管理系统和用户的资源;

    目前已支持的资源类型:Yarn队列资源、服务器(CPU和内存)、用户并发个数等。

  • 应用管理服务:管理所有系统的所有用户应用,包括离线批量应用、交互式查询应用和实时流式应用,为离线和交互式应用提供强大的复用能力,并提供应用全生命周期管理,自动释放用户多余的空闲应用;

  • 统一存储服务:通用的IO架构,能快速对接各种存储系统,提供统一调用入口,支持所有常用格式数据,集成度高,简单易用;

  • 统一上下文服务:统一用户和系统资源文件(JAR、ZIP、Properties等),用户、系统、计算引擎的参数和变量统一管理,一处设置,处处自动引用;

  • 物料库:系统和用户级物料管理,可分享和流转,支持全生命周期自动管理;

  • 元数据服务:实时的库表结构和分区情况展示。

与类似系统的对比:

Linkis跟Apache Livy和Apache Zeppelin Interpreter的定位不一样,但是由于开源社区目前尚没有同类竞品,所以这里做一个简单对比供大家参考。

comparison_table


文档列表

Linkis快速安装使用文档

上层前端应用的HTTP接入文档

上层前端应用的WebSocket接入文档

Linkis架构文档

更多文档,请点我访问


Architecture:

introduction_new


RoadMap

1. Linkis管理台

  • 用户可以查看和管理自己的Job
  • 用户可以查看和管理自己的引擎
  • 用户可以查看Yarn的资源使用情况和用户资源使用排名
  • 用户可以配置引擎的启动参数
  • 用户可以设置变量

2. 支持标签功能

  • 支持给EngineManager打标签
  • 启动引擎时,支持为引擎打标签
  • 支持通过标签访问目标引擎

3. AppGovernance应用治理实现

  • 系统级、用户级应用全生命周期管理,包括离线批量、交互式查询和实时流式应用
  • 为离线和交互式应用提供复用能力和智能切换能力
  • 智能限流、应用智能保护

4. 支持Flink和Spark Structured Streaming

如果您有任何需求,欢迎给我们提issue,我们将会及时给您回复。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (7)

加载中
加油
2020/05/28 21:22
回复
举报
Linkis的最新信息,请见: https://github.com/WeBankFinTech/Linkis
2019/11/18 10:15
回复
举报
刚用linkis,一直没发现在哪个地方可以配置数据源,我可以同时添加多种数据源吗,比如mysql、hive、hdfs等等,如果可以,具体在哪里配置,之前用zeppelin配置文件里添加就行,这个貌似没有太多文档参考
2019/09/19 09:34
回复
举报
可以的,请参考Scriptis,Github repo: https://github.com/WeBankFinTech/Scriptis.
2019/09/25 11:25
回复
举报
有大佬装了吗?我们最近在调研这套
2019/08/02 20:47
回复
举报
hue zeppelin livy 合体
2019/07/26 20:51
回复
举报
昨天还在想做的东西,今天就有来源的了,而且还这么优秀,很棒的项目
2019/07/26 20:31
回复
举报
更多评论
发表了资讯
03/18 10:41

【里程碑】Linkis 1.0.0-RC1 版本发布

Linkis 1.0.0-RC1 是 Linkis 里程碑式的重大版本,提供了超 60 个新特性和功能增强, 标志着 Linkis 正式进入1.0版本时代。 Linkis是什么? Linkis 在上层应用和底层引擎之间构建了一层计算中间件,上层应用只需对接 Linkis 提供的 REST/WS/JDBC 等标准接口,就能连接到 MySQL/Spark/Hive/Presto/Flink 等各种底层计算存储引擎,并实现上层应用间的互通。 Linkis1.0.0-RC1 带来了“计算治理”理念的全新架构实现,提供了全栈计算...

1
6
发表了资讯
03/11 17:59

Linkis 1.0 安装部署和使用方法讲解

Linkis在上层应用和底层引擎之间构建了一层计算中间件,上层应用只需对接Linkis提供的REST/WS/JDBC 等标准接口,就能连接到MySQL/Spark/HBase 等各种底层计算存储引擎,并实现上层应用间的互通。作为计算中间件,Linkis提供强大的连通,复用,扩展和管控能力。并通过解耦应用层和引擎层,简化复杂的网状调用关系,降低整体复杂度和开发、运维成本。自2019年开源以来,累计试用企业达600多家,沙箱试用用户1000+,涉及互联网、金...

1
4
01/21 16:52

Linkis 0.11.0 发布,新增 ElasticSearch 与 Presto 引擎

大家期待已久的ElasticSearch引擎和Presto引擎来啦! Linkis 0.11.0 是由微众银行和MobTech团队作为主要贡献者的一个重要版本。这是基于Linkis 0.10.0的下一个发行版本。此版本新增了Presto引擎、Es引擎、以及Spark引擎on cluster模式进行了实现,并对0.10.0版本前的多个Bug进行了修复。 特性增强 1. 新增了ElasticSearch引擎,支持通过Linkis-Client提交esql和ejson脚本; 2. 新增 Presto 引擎,支持通过Linkis-Client提交对Pre...

2
6
发表于云计算专区
2020/12/03 16:56

【重磅发布】Linkis 0.10.0 版本发布

大家期待的Linkis on kubernetes的容器化解决方案来啦! Linkis 0.10.0是在微众银行的倾力帮助下,由艾佳生活主导完成的一个重要版本。 这是基于Linkis 0.9.4的下一个发行版本。 Linkis docker镜像会作为制成品发布,可以节省大家编译、排包和适配新环境的大量时间,基于cgroup隔离可以保证每个Linkis微服务不会由于超卖而影响其他Linkis微服务,做到cpu,mem,io,disk的隔离,让Linkis的每个微服务持续稳定提供服务。 k8s提供...

2
6
2020/06/16 17:51

Linkis 0.9.4 版本发布

什么是计算中间件Linkis Linkis是微众银行自研的一个打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。 Linkis 0.9.4发布,新增统一上下文服务模块以及基于统一上下文服务模块对其他Linkis模块如执行服务、gateway、存储服务等进行改造;新增统一数据源服务模块,为上层接入Linkis的应用提供统一的数据源服务,...

0
6
2019/12/30 14:36

Linkis 0.9.2 版本发布

什么是Linkis? Linkis是微众银行自研的一个打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。 Linkis 0.9.2发布,主要优化了部署和启动脚本,并对hadoop和HttpClient的依赖进行了优化。 特性增强 [Linkis-193] 部署增强:脚本会自动识别是单机部署还是分布式部署,单机部署和启动时,不再使用SSH和SCP。 [Lin...

1
30
2019/12/09 10:18

Linkis 0.9.1 重磅发布

计算中间件,Linkis 0.9.1重磅发布,新增物料库模块,支持Yarn的Capacity调度,支持kerberos等功能特性。 物料库模块:系统和用户级物料管理、物料支持分享和版本控制,支持全生命周期自动管理; 支持Yarn的Capacity调度:在原有支持Fair Scheduler的基础上加上对Yarn的Capacity Scheduler的支持; Kerberos支持:支持Linkis部署在Kerberos集群上; 特性增强 [Linkis-123] 增加物料库模块功能:系统和用户级物料管理,可分享和流...

4
13
发表于AI & 大数据专区
2019/07/31 22:51

Linkis 0.5.0 发布,大数据中间件

Linkis是一个打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的数据中间件。 Linkis基于微服务架构,提供了金融级多租户隔离、资源管控、权限隔离等企业级特性,支持统一变量、UDF、函数、用户资源文件管理,具备高并发、高性能、高可用的大数据作业/请求全生命周期管理能力。 发布0.5.0release版本:https://github.com/...

8
13
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
2019/12/31 11:56

Linkis 0.9.2 版本发布

01 — Linkis是什么 Linkis 是微众银行自研的一个打通了多个计算存储引擎如: Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。 Linkis- 0.9.2发布,主要优化了部署和启动脚本,并对hadoop和HttpClient的依赖进行了优化。 Linkis开源地址:https://github.com/WeBankFinTech/Linkis/wiki 02 — 特性增强 [Linkis-193] 部署增强:脚本会自...

0
0
2020/06/15 16:52

Linkis 0.9.4 Release Note

Linkis 0.9.4 Release Note Linkis 0.9.4发布,新增统一上下文服务模块以及基于统一上下文服务模块对其他Linkis模块如执行服务、gateway、存储服务等进行改造;新增统一数据源服务模块,为上层接入Linkis的应用提供统一的数据源服务,现在已经有社区伙伴开始基于Linkis统一数据源进行服务开发;对Linkis公共包的依赖以及启动脚本进行了优化,同时修复了若干社区用户提出的bug。 计算中间件Linkis Linkis是微众银行自研的一款打通了...

0
0
2019/08/01 17:25

Farewell Livy, Hi Linkis

## 1.数据分析平台搭建的若干主题 笔者从事大数据功能平台建设若干年,在笔者就职的公司,业务分析人员常使用到如SparkSql, PySpark,hive,python等方式分析数据。搭建一个安全、稳定同时满足所有业务分析人员使用习惯的大数据功能分析功能平台并不是一个简单的任务,因为要考虑的东西比较多,笔者认为通常有以下几点。 - 1.资源的细粒度以及多维度管控。 - 2.多租户隔离。 - 3.多样的执行方式支持。 - 4.用户使用界面友好。 ...

0
4
发表于云计算专区
2019/11/06 15:58

Linkis架构解析系列(一)——Linkis RPC架构解析

“ 为了提升Linkis的高并发能力,Linkis基于微服务架构,在Feign的基础之上,实现了一套自己的底层RPC通信方案,用以提升微服务间的通信性能和并发能力。” 基于Feign的微服务之间HTTP接口调用,只能满足简单的A微服务实例根据简单的规则随机访问B微服务之中的某个服务实例,而这个B微服务实例如果想异步回传信息给调用方,是根本无法实现的。 同时,由于Feign只支持简单的服务选取规则,无法做到将请求转发给指定的微服务实例,...

0
0
发表于云计算专区
2020/12/03 15:00

【重磅发布】Linkis 0.10.0 版本发布

重 磅 发 布 Linkis 0.10.0 版本发布 大家期待的Linkis on kubernetes的容器化解决方案来啦! Linkis 0.10.0是在微众银行的倾力帮助下,由艾佳生活主导完成的一个重要版本。 这是基于Linkis 0.9.4的下一个发行版本。Linkis docker镜像会作为制成品发布,可以节省大家编译、排包和适配新环境的大量时间,基于cgroup隔离可以保证每个Linkis微服务不会由于超卖而影响其他Linkis微服务,做到cpu,mem,io,disk的隔离,让Linkis的每...

0
0
01/21 16:37

【重磅发布】Linkis 0.11.0版本发布

【重磅发布】Linkis 0.11.0 版本发布 大家期待已久的ElasticSearch引擎和Presto引擎来啦! Linkis 0.11.0 Linkis 0.11.0 是由微众银行和MobTech团队作为主要贡献者的一个重要版本 这是基于Linkis 0.10.0的下一个发行版本。此版本新增了Presto引擎、ElasticSearch引擎、以及Spark引擎on cluster模式进行了实现,并对0.10.0版本前的多个Bug进行了修复。 特性增强 1. 新增了ElasticSearch引擎,支持通过Linkis-Client提交esql和ejs...

0
0
2020/10/10 18:49

第三方应用通过HTTP接入Linkis

◆ ◆ ◆ ◆ 社区用户经验分享之 第三方应用通过HTTP接入Linkis ◆ ◆ ◆ ◆ water:8年码龄,长期保持在开发一线,擅长大数据与后端开发,也可前端开发。喜欢捣鼓新技术,目前重心在大数据平台研发 “之前一直想做自己的数据资产平台,看到dss(DataSphere Studio)有类似的接入文章,但多以dss + linkis内部接入为主,遂自己实践摸索,并成文,也给后续有需要的码友一个小参考。 DSS(DataSphereStudio)和Linkis的介绍说明不...

0
0
2019/08/29 20:13

Linkis基于Feign实现的双向RPC通信方案

# 一、背景 基于Feign的微服务之间HTTP接口的调用,只能满足简单的A微服务实例根据简单的规则随机选择B微服务之中的某个服务实例,而这个B微服务实例如果想异步回传信息给调用方,是根本无法实现的。 同时,由于Feign只支持简单的服务选取规则,无法做到将请求转发给指定的微服务实例,无法做到将一个请求广播给接收方微服务的所有实例。 ---- # 二、简介 Linkis基于Feign实现了一套自己的底层RPC通信方案。 Linkis RPC作为底层...

0
0
2020/07/06 10:16

【直播预告】计算中间件Linkis开源技术的应用和实践

摘要:一站式开源大数据平台套件WeDataSphere第2期线上 Meetup 7月9日 第2期WeDataSphere线上 Meetup将与大家见面,Linkis项目负责人暨微众银行大数据平台负责人,以及三位社区committer天翼云大数据平台负责人、艾佳生活架构师、MobTech大数据平台专家将做客直播间,同大家分享计算中间件Linkis 在各家公司的精彩应用案例与生产实践,以及Linkis 1.0.0最新版本的Roadmap和架构设计思路,并带来WeDataSphere大数据平台套件的最新...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表于AI & 大数据专区
2020/04/07 17:13

Linkis解决了您的什么问题呢?

各位用户在使用Linkis过程中,主要用于解决什么场景的问题呢?

11
2
2019/08/02 19:58

Linkis跟Livy和Zeppelin的Interpreter有什么区别?

最近看到微众银行开源了Linkis+Scriptis,Scriptis作为一款跟Zeppelin和Hue定位一样的数据开发IDE工具,虽然有很多企业级特性我也很喜欢,但是最惊艳我的还是Linkis。 他们说Linkis是一个连接器,屏蔽掉上层应用直接对接底层的计算存储引擎,抽象出了中间层这么一个概念。但是看上去跟一个脚本执行器也差不多,到底Linkis跟Livy和Zeppelin的Interpreter有什么区别啊?...

5
2
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
7 评论
427 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部