授权协议: Apache-2.0
操作系统: 跨平台
开发厂商: 微众银行
收录时间: 2019-07-26
提 交 者: bigide

Linkis是一个打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。

Linkis基于微服务架构,提供了金融级多租户隔离、资源管控、权限隔离等企业级特性,支持统一变量、UDF、函数、用户资源文件管理,具备高并发、高性能、高可用的大数据作业/请求全生命周期管理能力。

Linkis效果图
 

基于Linkis计算中间件的架构设计理念,在上层构建了很多的应用系统。

  • 目前已开源的有:数据研发IDE工具Scriptis

  • 即将开源的有:数据可视化展示工具图形化工作流工具数据质量工具

 

核心特点:

  • 统一作业执行服务:一个分布式的REST/WebSocket服务,用于接收用户提交的各种脚本请求。

    目前支持的计算引擎有:Spark、Python、TiSpark、Hive和Shell等。

    支持的脚本语言有:SparkSQL、Spark Scala、Pyspark、R、Python、HQL和Shell等;

  • 资源管理服务: 支持实时管控每个系统和用户的资源使用情况,限制系统和用户的资源使用量和并发数,并提供实时的资源动态图表,方便查看和管理系统和用户的资源;

    目前已支持的资源类型:Yarn队列资源、服务器(CPU和内存)、用户并发个数等。

  • 应用管理服务:管理所有系统的所有用户应用,包括离线批量应用、交互式查询应用和实时流式应用,为离线和交互式应用提供强大的复用能力,并提供应用全生命周期管理,自动释放用户多余的空闲应用;

  • 统一存储服务:通用的IO架构,能快速对接各种存储系统,提供统一调用入口,支持所有常用格式数据,集成度高,简单易用;

  • 统一上下文服务:统一用户和系统资源文件(JAR、ZIP、Properties等),用户、系统、计算引擎的参数和变量统一管理,一处设置,处处自动引用;

  • 物料库:系统和用户级物料管理,可分享和流转,支持全生命周期自动管理;

  • 元数据服务:实时的库表结构和分区情况展示。

与类似系统的对比:

Linkis跟Apache Livy和Apache Zeppelin Interpreter的定位不一样,但是由于开源社区目前尚没有同类竞品,所以这里做一个简单对比供大家参考。

comparison_table


文档列表

Linkis快速安装使用文档

上层前端应用的HTTP接入文档

上层前端应用的WebSocket接入文档

Linkis架构文档

更多文档,请点我访问


Architecture:

introduction_new


RoadMap

1. Linkis管理台

  • 用户可以查看和管理自己的Job
  • 用户可以查看和管理自己的引擎
  • 用户可以查看Yarn的资源使用情况和用户资源使用排名
  • 用户可以配置引擎的启动参数
  • 用户可以设置变量

2. 支持标签功能

  • 支持给EngineManager打标签
  • 启动引擎时,支持为引擎打标签
  • 支持通过标签访问目标引擎

3. AppGovernance应用治理实现

  • 系统级、用户级应用全生命周期管理,包括离线批量、交互式查询和实时流式应用
  • 为离线和交互式应用提供复用能力和智能切换能力
  • 智能限流、应用智能保护

4. 支持Flink和Spark Structured Streaming

如果您有任何需求,欢迎给我们提issue,我们将会及时给您回复。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

Linkis 的相关博客

Linkis 0.9.2 版本发布

01 — Linkis是什么 Linkis 是微众银行自研的一个打通了多个计算存储引擎如: Spark、TiSpark、Hive、Python和HBase等,对外提...

Linkis 0.9.4 Release Note

Linkis 0.9.4 Release Note Linkis 0.9.4发布,新增统一上下文服务模块以及基于统一上下文服务模块对其他Linkis模块如执行服务...

Farewell Livy, Hi Linkis

1.数据分析平台搭建的若干主题 笔者从事大数据功能平台建设若干年,在笔者就职的公司,业务分析人员常使用到如SparkSql, Py...

Linkis架构解析系列(一)——Linkis RPC架构解析

“ 为了提升Linkis的高并发能力,Linkis基于微服务架构,在Feign的基础之上,实现了一套自己的底层RPC通信方案,用以提升微服...

Linkis基于Feign实现的双向RPC通信方案

一、背景 基于Feign的微服务之间HTTP接口的调用,只能满足简单的A微服务实例根据简单的规则随机选择B微服务之中的某个服务实例...

【直播预告】计算中间件Linkis开源技术的应用和实践

摘要:一站式开源大数据平台套件WeDataSphere第2期线上 Meetup 7月9日 第2期WeDataSphere线上 Meetup将与大家见面,Linkis项目...

【喜讯】恭喜Linkis在github上的star数破1000

xing 星 xing 星 po 破 qian 千 就在今天,历时9个月的Linkis得到了第1000颗小星星! WeDataSphere 团队-深圳小伙伴 上海小伙...

第二次线上MeetUp精细解读之Linkis在中国电信的实践与展望

第二次线上MeetUp精细解读之 Linkis在中国电信的实践与展望 ——中国电信天翼云大数据平台研发负责人王小刚 基于Linkis构建的...

复杂分布式架构下的计算治理之路:计算中间件 Linkis

前言 在当前的复杂分布式架构环境下,服务治理已经大行其道。但目光往下一层,从上层 APP、Service,到底层计算引擎这一层面,...

评论 (7)

加载中
加油
05/28 21:22
回复
举报
Linkis的最新信息,请见: https://github.com/WeBankFinTech/Linkis
2019/11/18 10:15
回复
举报
刚用linkis,一直没发现在哪个地方可以配置数据源,我可以同时添加多种数据源吗,比如mysql、hive、hdfs等等,如果可以,具体在哪里配置,之前用zeppelin配置文件里添加就行,这个貌似没有太多文档参考
2019/09/19 09:34
回复
举报
可以的,请参考Scriptis,Github repo: https://github.com/WeBankFinTech/Scriptis.
2019/09/25 11:25
回复
举报
有大佬装了吗?我们最近在调研这套
2019/08/02 20:47
回复
举报
hue zeppelin livy 合体
2019/07/26 20:51
回复
举报
昨天还在想做的东西,今天就有来源的了,而且还这么优秀,很棒的项目
2019/07/26 20:31
回复
举报
更多评论
7 评论
106 收藏
分享
在线直播报名
返回顶部
顶部