Linkis 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Linkis 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Linkis 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache-2.0
操作系统 跨平台
软件类型 开源软件
所属分类 大数据数据存储
开源组织 Apache
地区 国产
投 递 者 bigide
适用人群 未知
收录时间 2019-07-26

软件简介

Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件。通过使用Linkis 提供的REST/WebSocket/JDBC 等标准接口,上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink 等底层引擎,同时实现变量、脚本、函数和资源文件等用户资源的跨上层应用互通,以及通过REST标准接口提供了数据源管理和数据源对应的元数据查询服务。 作为计算中间件,Linkis 提供了强大的连通、复用、编排、扩展和治理管控能力。通过计算中间件将应用层和引擎层解耦,简化了复杂的网络调用关系,降低了整体复杂度,同时节约了整体开发和维护成本。
Linkis 自2019年开源发布以来,已累计积累了700多家试验企业和1000+沙盒试验用户,涉及金融、电信、制造、互联网等多个行业。许多公司已经将Linkis 作为大数据平台底层计算存储引擎的统一入口,和计算请求/任务的治理管控利器。

没有Linkis 之前

有了Linkis 之后

核心特点#

  • 丰富的底层计算存储引擎支持
    目前支持的计算存储引擎:Spark、Hive、Flink、Python、Pipeline、Sqoop、openLooKeng、JDBC和Shell等。
    正在支持中的计算存储引擎:Presto(计划1.2.0)、ElasticSearch(计划1.2.0)等。
    支持的脚本语言:SparkSQL, HiveQL, Python, Shell, Pyspark, R, Scala 和JDBC 等。
  • 强大的计算治理能力。基于Orchestrator、Label Manager和定制的Spring Cloud Gateway等服务,Linkis能够提供基于多级标签的跨集群/跨IDC 细粒度路由、负载均衡、多租户、流量控制、资源控制和编排策略(如双活、主备等)支持能力。
  • 全栈计算存储引擎架构支持。能够接收、执行和管理针对各种计算存储引擎的任务和请求,包括离线批量任务、交互式查询任务、实时流式任务和存储型任务;
  • 资源管理能力。 ResourceManager 不仅具备对 Yarn 和 Linkis EngineManager 的资源管理能力,还将提供基于标签的多级资源分配和回收能力,让 ResourceManager 具备跨集群、跨计算资源类型的强大资源管理能力。
  • 统一上下文服务。为每个计算任务生成context id,跨用户、系统、计算引擎的关联管理用户和系统资源文件(JAR、ZIP、Properties等),结果集,参数变量,函数等,一处设置,处处自动引用;
  • 统一物料。系统和用户级物料管理,可分享和流转,跨用户、系统共享物料。
  • 统一数据源管理。提供了hive、es、mysql、kafka类型数据源的增删查改、版本控制、连接测试等功能。
  • 数据源对应的元数据查询。提供了hive、es、mysql、kafka元数据的数据库、表、分区查询。

支持的引擎类型#

引擎名 支持底层组件版本
(默认依赖版本)
Linkis 1.X 版本要求 是否默认包含在发布包中 说明
Spark Apache 2.0.0~2.4.7,
CDH >= 5.4.0,
(默认Apache Spark 2.4.3)
>=1.0.0_rc1 Spark EngineConn, 支持SQL, Scala, Pyspark 和R 代码
Hive Apache >= 1.0.0,
CDH >= 5.4.0,
(默认Apache Hive 2.3.3)
>=1.0.0_rc1 Hive EngineConn, 支持HiveQL 代码
Python Python >= 2.6,
(默认Python2*)
>=1.0.0_rc1 Python EngineConn, 支持python 代码
Shell Bash >= 2.0 >=1.0.0_rc1 Shell EngineConn, 支持Bash shell 代码
JDBC MySQL >= 5.0, Hive >=1.2.1,
(默认Hive-jdbc 2.3.4)
>=1.0.0_rc1 JDBC EngineConn, 已支持MySQL 和HiveQL,可快速扩展支持其他有JDBC Driver 包的引擎, 如Oracle
Flink Flink >= 1.12.2,
(默认Apache Flink 1.12.2)
>=1.0.2 Flink EngineConn, 支持FlinkSQL 代码,也支持以Flink Jar 形式启动一个新的Yarn 应用程序
Pipeline - >=1.0.2 Pipeline EngineConn, 支持文件的导入和导出
openLooKeng openLooKeng >= 1.5.0,
(默认openLookEng 1.5.0)
>=1.1.1 openLooKeng EngineConn, 支持用Sql查询数据虚拟化引擎openLooKeng
Sqoop Sqoop >= 1.4.6,
(默认Apache Sqoop 1.4.6)
>=1.1.2 Sqoop EngineConn, 支持 数据迁移工具 Sqoop 引擎
Impala Impala >= 3.2.0, CDH >=6.3.0 ongoing - Impala EngineConn,支持Impala SQL 代码
Presto Presto >= 0.180 1.2.0 - Presto EngineConn, 支持Presto SQL 代码
ElasticSearch ElasticSearch >=6.0 1.2.0 - ElasticSearch EngineConn, 支持SQL 和DSL 代码
TiSpark 1.1 ongoing - TiSpark EngineConn, 支持用SparkSQL 查询TiDB

下载#

请前往Linkis releases 页面 下载Linkis 已编译的部署安装包或源码包。

安装部署#

请参考安装部署文档 来部署Linkis

示例和使用指引#

文档#

完整的Linkis文档代码存放在linkis-website仓库中

架构概要#

Linkis 基于微服务架构开发,其服务可以分为3类:计算治理服务、公共增强服务和微服务治理服务。

  • 计算治理服务,支持计算任务/请求处理流程的3个主要阶段:提交->准备->执行;
  • 公共增强服务,包括上下文服务、物料管理服务及数据源服务等;
  • 微服务治理服务,包括定制化的Spring Cloud Gateway、Eureka、Open Feign。

下面是Linkis 的架构概要图. 更多详细架构文档请见 Linkis/Architecture. architecture

基于Linkis 计算中间件,我们在大数据平台套件WeDataSphere 中构建了许多应用和工具系统,下面是目前可用的开源项目。

wedatasphere_stack_Linkis

更多项目开源准备中,敬请期待。

贡献#

我们非常欢迎和期待更多的贡献者参与共建Linkis, 不论是代码、文档,或是其他能够帮助到社区的贡献形式。

代码和文档相关的贡献请参照贡献指引

联系我们#

对Linkis 的任何问题和建议,敬请提交issue,以便跟踪处理和经验沉淀共享。

Meetup 视频 Bilibili

谁在使用Linkis#

我们创建了一个 issue 以便用户反馈和记录谁在使用Linkis。
Linkis 自2019年开源发布以来,累计已有700多家试验企业和1000+沙盒试验用户,涉及金融、电信、制造、互联网等多个行业。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(7) 发布并加入讨论🔥
发表了资讯
01/05 19:22

版本动态 | Apache Linkis 1.5.0 版本发布

Apache Linkis 1.5.0 版本已经发布,非常感谢社区各位成员对 1.5.0版本的贡献和付出。 本次版本是一个大版本,新增了多个社区期待已久的特性,如:注册中心支持切换Nacos、新增Hbase、Nabula、repl等多个引擎、新增SPARK引擎插件支持 on Yarn Cluster模式、SPARK和Flink引擎插件支持 on k8s提交Jar任务等功能特性,并修复了多个已知问题。 详情请查看 Apache Linkis 官方1.5.0的版本信息: https://linkis.apache.org/zh-CN/do...

0
2
发表了资讯
2023/02/02 17:58

官宣:计算中间件 Apache Linkis 正式毕业成为 Apache 顶级项目

Apache 软件基金会(ASF)孵化器于2022年12月03日,通过了 Apache Linkis 计算中间件项目的孵化毕业投票。2023年01月18日,Apache 软件基金会官方宣布 Apache Linkis 顺利毕业,成为 Apache 顶级项目(TLP)。 以上截图来自 Apache 官网 原文链接:https://news.apache.org/foundation/entry/the-apache-software-foundation-announces-apache-linkis-as-a-top-level-project 一、关于 Apache Linkis Apache Linkis 计算中间件项...

0
10
发表了资讯
2022/08/11 09:49

版本动态 | Apache Linkis (Incubating) 1.1.3 版本发布

Linkis 1.1.3 版本简介 GitHub:https://github.com/apache/incubator-linkis Gitee:https://gitee.com/apacheLinkis/Linkis 本次发布的 1.1.3 版本主要集成 Prometheus,提供 Linkis 微服务监控的基础能力;任务提交新增任务重试次数参数;增加任务与执行 EC 的关联信息记录;Flink 引擎支持将 Yarn 日志下载到 EC 日志目录;前端页面支持水印;部分安全漏洞组件升级等;修复社区反馈的已知 bug。 缩写: COMMON: Linkis Com...

0
1
发表了资讯
2022/07/12 17:29

Apache Linkis(Incubating) 计算中间件 1.1.2 版本发布

Linkis 1.1.2 版本简介 GitHub:https://github.com/apache/incubator-linkis 本次发布主要支持在无 HDFS 的环境下进行精简化部署(支持部分引擎),方便更轻量化的学习使用和调试;新增对数据迁移工具 Sqoop 引擎的支持;异常处理日志优化;部分安全漏洞组件升级等;修复社区反馈的已知 bug。 主要功能如下: 支持在无HDFS的环境下进行精简化部署(支持部分引擎),方便更轻量化的学习使用和调试 新增对数据迁移工具 Sqoop 引擎...

0
1
发表了资讯
2022/06/23 17:26

Apache Linkis(incubating) 社区新增 5 位 Committer

随着Apache Linkis(incubating) 社区的高速发展,涌现出越来越多的优秀开发者。他们在社区中不断的成长,提升技术能力,同时也把所学所会积极回馈社区,对社区的发展做出了巨大的贡献。 近期经过PPMC的推举和投票,推选出对社区做出巨大贡献的5位开发者晋升为Committer。 他们分别为陆小龙、徐杰、张华金、陶克路、介龙平。 Apache邮件公告 1. 陆小龙:https://lists.apache.org/thread/bnvt4nm7jf791vgxjn4cj5fngsz8101c 2. 徐...

0
1
发表了资讯
2022/06/01 14:33

Apache Linkis(incubating) 1.1.1 版本发布

Linkis 1.1.1 版本简介 本次发布的1.1.1版本,主要支持UDF多版本控制;支持将UDF函数的jar包/脚本物料上传至BML管理的hdfs文件系统;提交任务支持Yarn队列资源使用统计采集和查看;管理台的ECM管理页面能支持运行中的引擎日志文件的查看;新增对数据虚拟化引擎OpenLooKeng的支持。 GitHub:https://github.com/apache/incubator-linkis 缩写: EC: Engineconn ECM: EngineConnManager ECP: EngineConnPlugin EC: EngineConn DMS...

0
2
发表了资讯
2022/05/05 17:53

社区贡献版本 | Apache Linkis(incubating) 1.1.0 版本发布

Linkis 1.1.0 版本简介 Apache Linkis发布了进入Apache孵化项目之后第一个大版本-1.1.0。该版本在天翼云主导和社区同学的积极代码贡献下,不仅稳定性得到极大提升,而且此版本发布了围绕统一数据源管理服务的重磅特性。对于提供统一源数据管理服务特性,从开始讨需求特性讨论,到功能详细设计,到最后的代码迭代实现,历经前后大半年时间,并且此特性已经在部分公司的生产环境得到使用和验证。 本版本在Linkis 1.0.3基础上增加了...

0
1
发表了资讯
2022/03/08 11:42

Linkis 新版本的特性介绍以及使用实践

近日,WeDataSphere和Apache Linkis (Incubating)社区举办了2022年第一场 Meetup。 本次活动邀请了Linkis PPMC 邸帅 和 Linkis Contributor 张延召,给大家带来《Linkis 1.0.3 新版本特性介绍》和《基于Linkis的企业大数据平台改造之路》的分享。 《Linkis 1.0.3 新版本特性介绍》 邸帅 Linkis PPMC / 微众银行大数据平台负责人 1、Linkis的介绍 Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件,以标准化可重用的方式...

0
2
发表了资讯
2022/02/14 14:13

微众银行大数据开源项目 - 1 月进展合集

DataSphere Studio 数据应用开发门户 1. 已经准备好适配Apache Linkis的版本DSS1.0.1 2. 天翼云主导的用户排障机器人功能的pr和1.0.2-opensource的代码正在合并中 https://github.com/WeBankFinTech/DataSphereStudio https://gitee.com/WeBank/DataSphereStudio Linkis 大数据平台中间件服务集合 1. linkis1.0.3版本发布完毕,新增contributor 16个 2. 由天翼云团队主导的linkis1.1.0 版本DataSource代码提交正在进行中,并新引...

0
4
发表了资讯
2022/02/05 07:55

Apache Linkis(incubating) 1.0.3 版本发布

Linkis 1.0.3 版本发布 Apache Linkis(incubating) 1.0.3 包含所有 Project Linkis-1.0.3。 该版本是Linkis进入Apache孵化的第一个版本。主要完成ASF基础设施建设,包括License完善/包名修改等,增加EngineConn对Operator的支持等功能,修复社区反馈的1.0.2版本中的bug。 添加了以下主要功能: http restful api风格使用springmvc替换jersey 用 fastxml json 替换 codehaus json 支持 EngineConn/OnceEngineConn 通用operator ...

2
1
发表了资讯
2021/11/02 13:54

Apache Linkis (Incubator) 孵化之路正式开启

8月2日,微众银行开源的计算中间件项目-Linkis,全票通过了国际顶级开源组织Apache软件基金会(简称 ASF)的孵化器投票决议。经过了为期2个多月的基础建设工作,目前已完成了项目相关知识产权的签署、代码的移交等孵化事项。自此Linkis项目多了一个新的身份:ASF的孵化项目-Apache Linkis(Incubator),这意味Linkis向Apache顶级项目迈出了重要的第一步。 Linkis 计算中间件 Linkis 在上层应用和底层引擎之间构建了一层计算中间件。...

0
7
发表了资讯
2021/09/14 15:10

全票通过!微众开源项目 Linkis 进入 Apache 孵化器

8月2日,微众银行开源项目 Linkis 正式通过国际顶级开源组织 Apache 软件基金会(简称 ASF )的投票决议,以全票通过的优秀表现成为 ASF孵化器项目。 Linkis是微众银行第二个进入 ASF 的项目,自此微众银行成为为数不多的有两个或以上ASF项目(含孵化与已毕业)的企业之一。早在今年2月, EventMesh 项目同样以全票通过的优秀表现进入了 ASF 孵化器,而此次 Linkis 成为 ASF 孵化器项目进一步证实了微众银行拥抱开源和开放治理的...

6
17
发表了资讯
2021/09/10 16:58

Linkis 1.0.2 正式发布,大数据平台中间件

Linkis-1.0.2作为Linkis 1.0.1的增强版,主要实现了FlinkEngineConn,将Flink引入Linkis生态,关键特性如下: 实现了FlinkEngineConn,支持Flink SQL和Flink Jar应用的编写、调试、发布与监控; 实现了LinkisManagerClient,支持将调试好的流式应用通过LinkisManagerClient发布给LinkisManager进行常驻型提交执行 缩略用语: CGS: Computation Governance Services PES: Public Enhancement Services MGS: Microservice Governa...

0
1
发表了资讯
2021/07/28 09:35

Linkis 1.0.1 正式发版 - 大数据平台中间件解决方案

Linkis 1.0.1对Linkis1.0.0版本发现Bug和影响性能,便利性的问题进行了修复和增强,欢迎更新升级。 Linkis 1.0.1 Linkis 1.0.1 作为1.0.0的修复版本,这次版本主要修复了高并发场景下的性能bug,以及优化资源管理模块,以及修复多个已发现的bug,并优化Spark引擎支持 FATE使用。 FATE (Federated AI Technology Enabler) 是微众银行AI部门发起的开源项目,为联邦学习生态系统提供了可靠的安全计算框架(https://github.com/Feder...

0
4
发表了资讯
2021/06/30 10:42

【里程碑】Linkis 1.0.0 正式发布

Linkis 1.0.0是 Linkis 践行“计算治理”的里程碑,提供了计算编排、一次性作业、Web前端和Linkis-Cli的全新shell命令提交代码方式,标志着 Linkis 正式进入1.0版本时代。 Linkis 1.0.0 作为正式版,主要提供了Linkis-Orchetrator计算编排、优化了大量“计算治理”的架构代码、增加了对OnceEngineConn一次性作业的支持,用于OLAP作业和Streaming作业、同时还简化了Linkis的安装部署。 通过 Orchestrator计算编排 和强大的标签管...

2
6
发表了资讯
2021/03/18 10:41

【里程碑】Linkis 1.0.0-RC1 版本发布

Linkis 1.0.0-RC1 是 Linkis 里程碑式的重大版本,提供了超 60 个新特性和功能增强, 标志着 Linkis 正式进入1.0版本时代。 Linkis是什么? Linkis 在上层应用和底层引擎之间构建了一层计算中间件,上层应用只需对接 Linkis 提供的 REST/WS/JDBC 等标准接口,就能连接到 MySQL/Spark/Hive/Presto/Flink 等各种底层计算存储引擎,并实现上层应用间的互通。 Linkis1.0.0-RC1 带来了“计算治理”理念的全新架构实现,提供了全栈计算...

1
6
发表了资讯
2021/03/11 17:59

Linkis 1.0 安装部署和使用方法讲解

Linkis在上层应用和底层引擎之间构建了一层计算中间件,上层应用只需对接Linkis提供的REST/WS/JDBC 等标准接口,就能连接到MySQL/Spark/HBase 等各种底层计算存储引擎,并实现上层应用间的互通。作为计算中间件,Linkis提供强大的连通,复用,扩展和管控能力。并通过解耦应用层和引擎层,简化复杂的网状调用关系,降低整体复杂度和开发、运维成本。自2019年开源以来,累计试用企业达600多家,沙箱试用用户1000+,涉及互联网、金...

1
4
发表了资讯
2021/01/21 16:52

Linkis 0.11.0 发布,新增 ElasticSearch 与 Presto 引擎

大家期待已久的ElasticSearch引擎和Presto引擎来啦! Linkis 0.11.0 是由微众银行和MobTech团队作为主要贡献者的一个重要版本。这是基于Linkis 0.10.0的下一个发行版本。此版本新增了Presto引擎、Es引擎、以及Spark引擎on cluster模式进行了实现,并对0.10.0版本前的多个Bug进行了修复。 特性增强 1. 新增了ElasticSearch引擎,支持通过Linkis-Client提交esql和ejson脚本; 2. 新增 Presto 引擎,支持通过Linkis-Client提交对Pre...

2
6
发表了资讯
2020/12/03 16:56

【重磅发布】Linkis 0.10.0 版本发布

大家期待的Linkis on kubernetes的容器化解决方案来啦! Linkis 0.10.0是在微众银行的倾力帮助下,由艾佳生活主导完成的一个重要版本。 这是基于Linkis 0.9.4的下一个发行版本。 Linkis docker镜像会作为制成品发布,可以节省大家编译、排包和适配新环境的大量时间,基于cgroup隔离可以保证每个Linkis微服务不会由于超卖而影响其他Linkis微服务,做到cpu,mem,io,disk的隔离,让Linkis的每个微服务持续稳定提供服务。 k8s提供...

2
6
发表了资讯
2020/06/16 17:51

Linkis 0.9.4 版本发布

什么是计算中间件Linkis Linkis是微众银行自研的一个打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。 Linkis 0.9.4发布,新增统一上下文服务模块以及基于统一上下文服务模块对其他Linkis模块如执行服务、gateway、存储服务等进行改造;新增统一数据源服务模块,为上层接入Linkis的应用提供统一的数据源服务,...

0
6
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
暂无内容
7 评论
462 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部