OLAP 分析引擎 Apache Kylin

OLAP 分析引擎 Apache Kylin

Apache
Java 查看源码»
跨平台
Apache
2014-10-09
红薯

Apache Kylin 是一个开源的分布式的 OLAP 分析引擎,来自 eBay 公司开发,基于 Hadoop 提供 SQL 接口和 OLAP 接口,支持 TB 到 PB 级别的数据量。

Apache Kylin 的商业支持请访问 http://kyligence.io/

Apache Kylin 是:

  • 超级快的 OLAP 引擎,具备可伸缩性

  • 为 Hadoop 提供 ANSI-SQL 接口

  • 交互式查询能力

  • MOLAP Cube

  • 可与其他 BI 工具无缝集成,如 Tableau,而 Microstrategy 和 Excel 将很快推出

其他值得关注的特性包括:

  • 作业管理和监控

  • 压缩和编码的支持

  • Cube 的增量更新

  • Leverage HBase Coprocessor for query latency

  • Approximate Query Capability for distinct Count (HyperLogLog)

  • 易用的 Web 管理、构建、监控和查询 Cube 的接口

  • Security capability to set ACL at Cube/Project Level

  • 支持 LDAP 集成

运行环境要求:

Hadoop

  • Hadoop: 2.2.0.2.0.6.0-61 or above

  • Hive: 0.12.0.2.0.6.0-61 or above

  • HBase: 0.96.0.2.0.6.0-61-hadoop2

Tested with Hortornworks distribution (HDP2.1.3), not tested with others yet.

Kylin Server

  • Command hadoop, hive, hbase is workable on your hadoop cluster

  • JDK Runtime: JDK7 (OpenJDK or Oracle JDK)

  • Maven

  • Git

  • Tomcat

  • Mysql

的码云指数为
超过 的项目
加载中

评论(13)

S
StaR_Raul
看过2.3.1源码,整体架构不算特别复杂。 技术难点大概有两个,一个是如何基于i层快速计算i-1层的,另外一个是复杂sql如何能够路由找到预计算快照。 代码实现上抽象出了IStorage,ISource和IBatchCubingEngine, 但是实际代码实现上抽象程度并没有抽象接口看上去的那么抽象,能够随意组合。 rowkey数据结构强绑定,感觉存储好像除了HBase就没法换其他的存储了,基于kafka实现的source有很多地方和hive的source其实并不一样,有点强行统一接口的感觉。 任务调度器上分布式任务调度实现的有点简单,仅仅是基于zk来做任务lock,每个调度线程提交任务后,需要等待job返回,对于计算时间长和大批量任务的场景可能有点低效。 总体来说感觉实现方案上还有优化空间,代码还可以写的更优雅。
蔡冬青
蔡冬青
Apche-kylin 可以和 CDH结合在一起吗?#Apache Kylin#?
beyondyourself
beyondyourself
国产的好东西
东子哥
东子哥
软件文档链接404了
m
mykylin
前段时间看到网上有kylin的书籍,不知道怎么样
在哪里110
在哪里110
很好很好很好很好很好很好很好 #Apache Kylin#
zhuyuping
zhuyuping
速度很快,基本可以数据库来用查询了 #Apache Kylin#
leon_rock
leon_rock
安装好费劲~ persistence.ResourceStore:88 : Create new store instance failed 启动报错误 #Apache Kylin#
如梦技术
如梦技术
看了下文档,实现得跟数据库非常类似了,非常赞 #Apache Kylin#

Apache Kylin v2.6.0 正式发布,开源的分布式分析引擎

近日,Apache Kylin 社区很高兴地宣布,Apache Kylin v2.6.0 正式发布。 Apache Kylin 是一个开源的分布式分析引擎,旨在为极大数据集提供 SQL 接口和多维分析(OLAP)的能力。 Apache Kylin...

今天 15:40

Apache Kylin v2.5.1 正式发布

Apache Kylin社区于日前宣布:Apache Kylin v2.5.1 正式发布!欢迎大家下载使用。 Apache Kylin 是一个开源的分布式分析引擎,提供 Hadoop 之上的 SQL 查询接口及多维分析(OLAP)能力,支持...

2018/11/08 10:40

Apache Kylin v2.5.0 正式发布,开源分布式分析引擎

日前,Apache Kylin 社区宣布,Apache Kylin v2.5.0 正式发布。 Apache Kylin 是一个开源的分布式分析引擎,旨在为极大数据集提供 SQL 接口和多维分析(OLAP)的能力。 这是继 Kylin v2.4.0...

2018/10/07 10:42

Apache Kylin 2.5.0 发布,开源分布式分析引擎

Apache Kylin 2.5.0 已发布,这是 2.4 之后的又一个主要版本,包含 96 项修复以及各种改进,像是支持 Hadoop 3.0,支持将 MySQL 作为 Kylin 元数据存储,支持 HBase 2.0 等等,具体内容请查看...

2018/09/20 11:54

Apache Kylin 2.4.1 发布,开源分布式分析引擎

Apache Kylin 2.4.1 已发布,这是针对 2.4.0 的 bug 修复版本,包含22项修复和功能改进。 发行说明和升级指南 源代码下载:apache-kylin-2.4.1-src.tar.gz 二进制包下载: for HBase 1.x (i...

2018/09/11 07:27

Apache Kylin 2.3.2 和 2.4.0 发布,多项改进

Apache Kylin 2.3.2 发布了。Apache Kylin 是一个开源的分布式的 OLAP 分析引擎,来自 eBay 公司开发,基于 Hadoop 提供 SQL 接口和 OLAP 接口,支持 TB 到 PB 级别的数据量。 更新内容如下:...

2018/07/09 07:27

Apache Kylin 2.4.0 发布,支持 Kafka 与 Hive 表 join

Apache Kylin 2.4.0 发布了,Apache Kylin 是一个开源的分布式的 OLAP 分析引擎,来自 eBay 公司开发,基于 Hadoop 提供 SQL 接口和 OLAP 接口,支持 TB 到 PB 级别的数据量。 2.4.0 是 2.3....

2018/06/28 07:13

Apache Kylin 2.3.0 发布,开源分布式分析引擎

Apache Kylin 2.3.0 已发布,这是继 2.2.0 之后的一个重要版本,包含超过 250 个错误修复和功能增强。点此查看升级指南。 新特性 - [KYLIN-3125] - Support SparkSql in Cube building step ...

2018/03/05 08:08

Apache Kylin 2.2.0 发布,开源分布式分析引擎

Apache Kylin v2.2.0 正式版发布了。Apache Kylin 是一个开源的分布式的 OLAP 分析引擎,来自 eBay 公司开发,基于 Hadoop 提供 SQL 接口和 OLAP 接口,支持 TB 到 PB 级别的数据量。 这是2...

2017/11/05 07:07

没有更多内容

加载失败,请刷新页面

1
回答
您好,请问对于Kylin的执行引擎,若用Spark来完成,是否有相关的接口,可以手工写Spark代码来完成?

@shaofengsh 你好,想跟你请教个问题:Apache Kylin的官方文档中,有关接口的描述并不多,我想问的是,二次开发是否只能根据提供的接口来完...

2018/11/26 14:15
2
回答
kylin1.5启动报错

java.lang.LinkageError: loader constraint violation: when resolving method "o...

2016/09/07 11:44
1
回答
求助:apache kylin流式构建报错(zookeeper设置的地址貌似没生效)

从kafka读取消息,并构建cube,在“#15 Step Name: Convert Cuboid Data to HFile”这一步骤报错: INFO...

2017/08/30 11:34
1
回答
全量更新,定时build的问题

curl -X PUT -H "Authorization: Basic QURNSU46S1lMSU4=" -H 'Content-Type: appl...

2018/07/19 14:44
2
回答
Streaming Table和Kafka遇到的Timeout expired while fetching topic metadata问题

大家好,我按照http://kylin.apache.org/cn/docs/tutorial/cube_streaming.html这个教程一路配置下来...

2018/10/19 15:42
2
回答
【开源访谈】李栋:2.0 划时代版本后的 Apache Kylin ,前路何方?

Apache Kylin 2.0 正式版发布已有半年,社区反响如何,哪些特性最受欢迎,下一步将往哪个方向发展?本期,【开源访谈】邀请到了 Kyligenc...

2017/11/20 16:56
33
回答
高手问答第 145 期 — 开源的分布式分析引擎 Apache Kylin
华章 的回答 2017/03/20 09:23
最佳答案
OSC 第 145 期高手问答 -- 开源的分布式分析引擎 Apache Kylin(公布中奖名单) @Li_Peng @sca7 @小鲅鱼 @myw31415926 @吐槽的达达仔 恭喜以上五位网友获得《Apache Kylin权威指南》一本 请私信@华章 告知快递信息(格式:姓名+电话+地...
3
回答
kylin error in coprocessor

查询的时候出现这个异常不知道怎么解决

2016/09/07 18:08
3
回答
kylin 删除SEGMENT或者添加中间时间片段的SEGMENT

我有一个cube 有9月3号到9月13号的SEGMENT,又跑了一个9月20到21的SEGMENT,但是想补上中间时间段的SEGMENT,发现没有地方可以...

2016/09/21 10:34
3
回答
【开源访谈】Kyligence 软件架构师李栋:开源是程序员巨大的财富

作为领先的大数据OLAP分析平台,Apache Kylin正逐渐从Hadoop上的传统OLAP演变为一个实时数据仓库。尤其是新引入的Spark Cubin...

2017/05/04 19:01

没有更多内容

加载失败,请刷新页面

【活动预告】Apache Kylin Meetup @杭州,火热报名ing…

0月26日,Apache Kylin Meetup@杭州将正式拉开帷幕,届时将会有来自eBay、丁香园、店+ 、Kyligence 等企业的大数据专家,为大家讲解Apache Kylin的优秀应用案例,以及 Kylin v2.5的最新特性。...

2018/10/15 12:51
13
0
实践 | Kylin在滴滴OLAP引擎中的应用

本文转载自 AI前线 作者 | 滴滴数据平台团队 编辑 | Vincent AI 前线导读:企业的生产活动会产生各种各样的数据,数据作为企业最重要的资产之一,价值巨大,数据价值的获取需要对其进行不断访...

2018/09/25 10:15
21
0
Apache Kylin v2.4.1 正式发布

Apache Kylin社区于日前宣布:Apache Kylin v2.4.1 正式发布!欢迎大家下载使用。 Apache Kylin 是一个开源的分布式分析引擎,提供 Hadoop 之上的 SQL 查询接口及多维分析(OLAP)能力,支持...

2018/09/11 21:42
19
0
Apache Kylin v2.5.2 正式发布

Apache Kylin社区于日前宣布:Apache Kylin v2.5.2 正式发布!欢迎大家下载使用。 Apache Kylin 是一个开源的分布式分析引擎,提供 Hadoop 之上的 SQL 查询接口及多维分析(OLAP)能力,支持...

2018/12/05 17:07
9
0
Apache Kylin v2.5.0 正式发布

日前,Apache Kylin 社区宣布,Apache Kylin v2.5.0 正式发布。 Apache Kylin 是一个开源的分布式分析引擎,旨在为极大数据集提供 SQL 接口和多维分析(OLAP)的能力。 这是继 Kylin v2.4.0...

2018/09/21 15:54
58
0
Apache Kylin v2.6.0 正式发布

近日,Apache Kylin 社区很高兴地宣布,Apache Kylin v2.6.0 正式发布。 Apache Kylin 是一个开源的分布式分析引擎,旨在为极大数据集提供 SQL 接口和多维分析(OLAP)的能力。 Apache Kylin...

昨天 15:25
13
0
【演讲视频+实录】美团点评:基于Druid的Kylin存储引擎实践

8月11日,由 Kyligence 主办、美团点评协办的 Apache Kylin Meetup@北京,在美团公司总部圆满落幕。本文整理自当天美团大数据工程师、Apache Kylin Committer 康凯森的演讲实录,全文共6,600...

2018/09/14 10:40
24
0
【用户案例】小米大数据:借助Apache Kylin打造高效、易用的一站式OLAP解决方案

作者 | 小米大数据 如今的小米不仅是一家手机公司,更是一家大数据与人工智能公司。随着小米公司各项业务的快速发展,数据中的商业价值也愈发突显。而与此同时,各业务团队在数据查询、分析等...

2018/12/04 17:25
18
0
Kylin2.5.0环境搭建及操作记录

Apache Kylin是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的H...

2018/12/14 15:18
104
0
Kylin 在马蜂窝数据分析团队的应用实战

本文转载自:AI前线 作者 | 马蜂窝数据团队 编辑 | Vincent AI 前线导读:马蜂窝大数据平台自 2017 年下半年引入 Apache Kylin 以来,极大的提升了数据分析师对于数据探索的效率。因为使用了...

2018/09/18 11:40
52
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部