Linkis 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Linkis 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Linkis 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache-2.0
操作系统 跨平台
软件类型 开源软件
所属分类 大数据数据存储
开源组织 微众银行
地区 国产
投 递 者 bigide
适用人群 未知
收录时间 2019-07-26

软件简介

Linkis是一个打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。

Linkis基于微服务架构,提供了金融级多租户隔离、资源管控、权限隔离等企业级特性,支持统一变量、UDF、函数、用户资源文件管理,具备高并发、高性能、高可用的大数据作业/请求全生命周期管理能力。

Linkis效果图
 

基于Linkis计算中间件的架构设计理念,在上层构建了很多的应用系统。

  • 目前已开源的有:数据研发IDE工具Scriptis

  • 即将开源的有:数据可视化展示工具图形化工作流工具数据质量工具

 

核心特点:

  • 统一作业执行服务:一个分布式的REST/WebSocket服务,用于接收用户提交的各种脚本请求。

    目前支持的计算引擎有:Spark、Python、TiSpark、Hive和Shell等。

    支持的脚本语言有:SparkSQL、Spark Scala、Pyspark、R、Python、HQL和Shell等;

  • 资源管理服务: 支持实时管控每个系统和用户的资源使用情况,限制系统和用户的资源使用量和并发数,并提供实时的资源动态图表,方便查看和管理系统和用户的资源;

    目前已支持的资源类型:Yarn队列资源、服务器(CPU和内存)、用户并发个数等。

  • 应用管理服务:管理所有系统的所有用户应用,包括离线批量应用、交互式查询应用和实时流式应用,为离线和交互式应用提供强大的复用能力,并提供应用全生命周期管理,自动释放用户多余的空闲应用;

  • 统一存储服务:通用的IO架构,能快速对接各种存储系统,提供统一调用入口,支持所有常用格式数据,集成度高,简单易用;

  • 统一上下文服务:统一用户和系统资源文件(JAR、ZIP、Properties等),用户、系统、计算引擎的参数和变量统一管理,一处设置,处处自动引用;

  • 物料库:系统和用户级物料管理,可分享和流转,支持全生命周期自动管理;

  • 元数据服务:实时的库表结构和分区情况展示。

与类似系统的对比:

Linkis跟Apache Livy和Apache Zeppelin Interpreter的定位不一样,但是由于开源社区目前尚没有同类竞品,所以这里做一个简单对比供大家参考。

comparison_table


文档列表

Linkis快速安装使用文档

上层前端应用的HTTP接入文档

上层前端应用的WebSocket接入文档

Linkis架构文档

更多文档,请点我访问


Architecture:

introduction_new


RoadMap

1. Linkis管理台

  • 用户可以查看和管理自己的Job
  • 用户可以查看和管理自己的引擎
  • 用户可以查看Yarn的资源使用情况和用户资源使用排名
  • 用户可以配置引擎的启动参数
  • 用户可以设置变量

2. 支持标签功能

  • 支持给EngineManager打标签
  • 启动引擎时,支持为引擎打标签
  • 支持通过标签访问目标引擎

3. AppGovernance应用治理实现

  • 系统级、用户级应用全生命周期管理,包括离线批量、交互式查询和实时流式应用
  • 为离线和交互式应用提供复用能力和智能切换能力
  • 智能限流、应用智能保护

4. 支持Flink和Spark Structured Streaming

如果您有任何需求,欢迎给我们提issue,我们将会及时给您回复。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(7)
发表了资讯
05/05 17:53

社区贡献版本 | Apache Linkis(incubating) 1.1.0 版本发布

Linkis 1.1.0 版本简介 Apache Linkis发布了进入Apache孵化项目之后第一个大版本-1.1.0。该版本在天翼云主导和社区同学的积极代码贡献下,不仅稳定性得到极大提升,而且此版本发布了围绕统一数据源管理服务的重磅特性。对于提供统一源数据管理服务特性,从开始讨需求特性讨论,到功能详细设计,到最后的代码迭代实现,历经前后大半年时间,并且此特性已经在部分公司的生产环境得到使用和验证。 本版本在Linkis 1.0.3基础上增加了...

0
1
发表了资讯
03/08 11:42

Linkis 新版本的特性介绍以及使用实践

近日,WeDataSphere和Apache Linkis (Incubating)社区举办了2022年第一场 Meetup。 本次活动邀请了Linkis PPMC 邸帅 和 Linkis Contributor 张延召,给大家带来《Linkis 1.0.3 新版本特性介绍》和《基于Linkis的企业大数据平台改造之路》的分享。 《Linkis 1.0.3 新版本特性介绍》 邸帅 Linkis PPMC / 微众银行大数据平台负责人 1、Linkis的介绍 Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件,以标准化可重用的方式...

0
2
发表了资讯
02/14 14:13

微众银行大数据开源项目 - 1 月进展合集

DataSphere Studio 数据应用开发门户 1. 已经准备好适配Apache Linkis的版本DSS1.0.1 2. 天翼云主导的用户排障机器人功能的pr和1.0.2-opensource的代码正在合并中 https://github.com/WeBankFinTech/DataSphereStudio https://gitee.com/WeBank/DataSphereStudio Linkis 大数据平台中间件服务集合 1. linkis1.0.3版本发布完毕,新增contributor 16个 2. 由天翼云团队主导的linkis1.1.0 版本DataSource代码提交正在进行中,并新引...

0
4
发表了资讯
02/05 07:55

Apache Linkis(incubating) 1.0.3 版本发布

Linkis 1.0.3 版本发布 Apache Linkis(incubating) 1.0.3 包含所有 Project Linkis-1.0.3。 该版本是Linkis进入Apache孵化的第一个版本。主要完成ASF基础设施建设,包括License完善/包名修改等,增加EngineConn对Operator的支持等功能,修复社区反馈的1.0.2版本中的bug。 添加了以下主要功能: http restful api风格使用springmvc替换jersey 用 fastxml json 替换 codehaus json 支持 EngineConn/OnceEngineConn 通用operator ...

2
1
发表了资讯
2021/11/02 13:54

Apache Linkis (Incubator) 孵化之路正式开启

8月2日,微众银行开源的计算中间件项目-Linkis,全票通过了国际顶级开源组织Apache软件基金会(简称 ASF)的孵化器投票决议。经过了为期2个多月的基础建设工作,目前已完成了项目相关知识产权的签署、代码的移交等孵化事项。自此Linkis项目多了一个新的身份:ASF的孵化项目-Apache Linkis(Incubator),这意味Linkis向Apache顶级项目迈出了重要的第一步。 Linkis 计算中间件 Linkis 在上层应用和底层引擎之间构建了一层计算中间件。...

0
7
发表了资讯
2021/09/14 15:10

全票通过!微众开源项目 Linkis 进入 Apache 孵化器

8月2日,微众银行开源项目 Linkis 正式通过国际顶级开源组织 Apache 软件基金会(简称 ASF )的投票决议,以全票通过的优秀表现成为 ASF孵化器项目。 Linkis是微众银行第二个进入 ASF 的项目,自此微众银行成为为数不多的有两个或以上ASF项目(含孵化与已毕业)的企业之一。早在今年2月, EventMesh 项目同样以全票通过的优秀表现进入了 ASF 孵化器,而此次 Linkis 成为 ASF 孵化器项目进一步证实了微众银行拥抱开源和开放治理的...

6
17
发表了资讯
2021/09/10 16:58

Linkis 1.0.2 正式发布,大数据平台中间件

Linkis-1.0.2作为Linkis 1.0.1的增强版,主要实现了FlinkEngineConn,将Flink引入Linkis生态,关键特性如下: 实现了FlinkEngineConn,支持Flink SQL和Flink Jar应用的编写、调试、发布与监控; 实现了LinkisManagerClient,支持将调试好的流式应用通过LinkisManagerClient发布给LinkisManager进行常驻型提交执行 缩略用语: CGS: Computation Governance Services PES: Public Enhancement Services MGS: Microservice Governa...

0
1
发表了资讯
2021/07/28 09:35

Linkis 1.0.1 正式发版 - 大数据平台中间件解决方案

Linkis 1.0.1对Linkis1.0.0版本发现Bug和影响性能,便利性的问题进行了修复和增强,欢迎更新升级。 Linkis 1.0.1 Linkis 1.0.1 作为1.0.0的修复版本,这次版本主要修复了高并发场景下的性能bug,以及优化资源管理模块,以及修复多个已发现的bug,并优化Spark引擎支持 FATE使用。 FATE (Federated AI Technology Enabler) 是微众银行AI部门发起的开源项目,为联邦学习生态系统提供了可靠的安全计算框架(https://github.com/Feder...

0
5
发表了资讯
2021/06/30 10:42

【里程碑】Linkis 1.0.0 正式发布

Linkis 1.0.0是 Linkis 践行“计算治理”的里程碑,提供了计算编排、一次性作业、Web前端和Linkis-Cli的全新shell命令提交代码方式,标志着 Linkis 正式进入1.0版本时代。 Linkis 1.0.0 作为正式版,主要提供了Linkis-Orchetrator计算编排、优化了大量“计算治理”的架构代码、增加了对OnceEngineConn一次性作业的支持,用于OLAP作业和Streaming作业、同时还简化了Linkis的安装部署。 通过 Orchestrator计算编排 和强大的标签管...

2
6
发表了资讯
2021/03/18 10:41

【里程碑】Linkis 1.0.0-RC1 版本发布

Linkis 1.0.0-RC1 是 Linkis 里程碑式的重大版本,提供了超 60 个新特性和功能增强, 标志着 Linkis 正式进入1.0版本时代。 Linkis是什么? Linkis 在上层应用和底层引擎之间构建了一层计算中间件,上层应用只需对接 Linkis 提供的 REST/WS/JDBC 等标准接口,就能连接到 MySQL/Spark/Hive/Presto/Flink 等各种底层计算存储引擎,并实现上层应用间的互通。 Linkis1.0.0-RC1 带来了“计算治理”理念的全新架构实现,提供了全栈计算...

1
6
发表了资讯
2021/03/11 17:59

Linkis 1.0 安装部署和使用方法讲解

Linkis在上层应用和底层引擎之间构建了一层计算中间件,上层应用只需对接Linkis提供的REST/WS/JDBC 等标准接口,就能连接到MySQL/Spark/HBase 等各种底层计算存储引擎,并实现上层应用间的互通。作为计算中间件,Linkis提供强大的连通,复用,扩展和管控能力。并通过解耦应用层和引擎层,简化复杂的网状调用关系,降低整体复杂度和开发、运维成本。自2019年开源以来,累计试用企业达600多家,沙箱试用用户1000+,涉及互联网、金...

1
4
2021/01/21 16:52

Linkis 0.11.0 发布,新增 ElasticSearch 与 Presto 引擎

大家期待已久的ElasticSearch引擎和Presto引擎来啦! Linkis 0.11.0 是由微众银行和MobTech团队作为主要贡献者的一个重要版本。这是基于Linkis 0.10.0的下一个发行版本。此版本新增了Presto引擎、Es引擎、以及Spark引擎on cluster模式进行了实现,并对0.10.0版本前的多个Bug进行了修复。 特性增强 1. 新增了ElasticSearch引擎,支持通过Linkis-Client提交esql和ejson脚本; 2. 新增 Presto 引擎,支持通过Linkis-Client提交对Pre...

2
6
发表于云计算专区
2020/12/03 16:56

【重磅发布】Linkis 0.10.0 版本发布

大家期待的Linkis on kubernetes的容器化解决方案来啦! Linkis 0.10.0是在微众银行的倾力帮助下,由艾佳生活主导完成的一个重要版本。 这是基于Linkis 0.9.4的下一个发行版本。 Linkis docker镜像会作为制成品发布,可以节省大家编译、排包和适配新环境的大量时间,基于cgroup隔离可以保证每个Linkis微服务不会由于超卖而影响其他Linkis微服务,做到cpu,mem,io,disk的隔离,让Linkis的每个微服务持续稳定提供服务。 k8s提供...

2
6
2020/06/16 17:51

Linkis 0.9.4 版本发布

什么是计算中间件Linkis Linkis是微众银行自研的一个打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。 Linkis 0.9.4发布,新增统一上下文服务模块以及基于统一上下文服务模块对其他Linkis模块如执行服务、gateway、存储服务等进行改造;新增统一数据源服务模块,为上层接入Linkis的应用提供统一的数据源服务,...

0
6
2019/12/30 14:36

Linkis 0.9.2 版本发布

什么是Linkis? Linkis是微众银行自研的一个打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。 Linkis 0.9.2发布,主要优化了部署和启动脚本,并对hadoop和HttpClient的依赖进行了优化。 特性增强 [Linkis-193] 部署增强:脚本会自动识别是单机部署还是分布式部署,单机部署和启动时,不再使用SSH和SCP。 [Lin...

1
30
2019/12/09 10:18

Linkis 0.9.1 重磅发布

计算中间件,Linkis 0.9.1重磅发布,新增物料库模块,支持Yarn的Capacity调度,支持kerberos等功能特性。 物料库模块:系统和用户级物料管理、物料支持分享和版本控制,支持全生命周期自动管理; 支持Yarn的Capacity调度:在原有支持Fair Scheduler的基础上加上对Yarn的Capacity Scheduler的支持; Kerberos支持:支持Linkis部署在Kerberos集群上; 特性增强 [Linkis-123] 增加物料库模块功能:系统和用户级物料管理,可分享和流...

4
13
发表于AI & 大数据专区
2019/07/31 22:51

Linkis 0.5.0 发布,大数据中间件

Linkis是一个打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的数据中间件。 Linkis基于微服务架构,提供了金融级多租户隔离、资源管控、权限隔离等企业级特性,支持统一变量、UDF、函数、用户资源文件管理,具备高并发、高性能、高可用的大数据作业/请求全生命周期管理能力。 发布0.5.0release版本:https://github.com/...

8
13
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
7 评论
445 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部
返回顶部
顶部