Apache Kylin 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Apache Kylin 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Apache Kylin 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Apache Kylin 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Apache Kylin 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache
开发语言 Java 查看源码 »
操作系统 跨平台
软件类型 开源软件
所属分类 大数据其他
开源组织 Apache
地区 国产
投 递 者 LukeHan
适用人群 未知
收录时间 2014-10-09

软件简介

Apache Kylin 是一个开源的分布式的 OLAP 分析引擎,来自 eBay 公司开发,基于 Hadoop 提供 SQL 接口和 OLAP 接口,支持 TB 到 PB 级别的数据量。

Apache Kylin 的商业支持请访问 http://kyligence.io/

Apache Kylin 是:

  • 超级快的 OLAP 引擎,具备可伸缩性

  • 为 Hadoop 提供 ANSI-SQL 接口

  • 交互式查询能力

  • MOLAP Cube

  • 可与其他 BI 工具无缝集成,如 Tableau,而 Microstrategy 和 Excel 将很快推出

其他值得关注的特性包括:

  • 作业管理和监控

  • 压缩和编码的支持

  • Cube 的增量更新

  • Leverage HBase Coprocessor for query latency

  • Approximate Query Capability for distinct Count (HyperLogLog)

  • 易用的 Web 管理、构建、监控和查询 Cube 的接口

  • Security capability to set ACL at Cube/Project Level

  • 支持 LDAP 集成

运行环境要求:

Hadoop

  • Hadoop: 2.2.0.2.0.6.0-61 or above

  • Hive: 0.12.0.2.0.6.0-61 or above

  • HBase: 0.96.0.2.0.6.0-61-hadoop2

Tested with Hortornworks distribution (HDP2.1.3), not tested with others yet.

Kylin Server

  • Command hadoop, hive, hbase is workable on your hadoop cluster

  • JDK Runtime: JDK7 (OpenJDK or Oracle JDK)

  • Maven

  • Git

  • Tomcat

  • Mysql

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (14)

加载中
支持国产,固定纬度常规指标分析场景,非常适用。
2020/10/24 11:39
回复
举报
看过2.3.1源码,整体架构不算特别复杂。 技术难点大概有两个,一个是如何基于i层快速计算i-1层的,另外一个是复杂sql如何能够路由找到预计算快照。 代码实现上抽象出了IStorage,ISource和IBatchCubingEngine, 但是实际代码实现上抽象程度并没有抽象接口看上去的那么抽象,能够随意组合。 rowkey数据结构强绑定,感觉存储好像除了HBase就没法换其他的存储了,基于kafka实现的source有很多地方和hive的source其实并不一样,有点强行统一接口的感觉。 任务调度器上分布式任务调度实现的有点简单,仅仅是基于zk来做任务lock,每个调度线程提交任务后,需要等待job返回,对于计算时间长和大批量任务的场景可能有点低效。 总体来说感觉实现方案上还有优化空间,代码还可以写的更优雅。
2018/11/16 16:50
回复
举报
Apche-kylin 可以和 CDH结合在一起吗?#Apache Kylin#?
2018/06/22 11:11
回复
举报
国产的好东西
2017/09/15 06:44
回复
举报
软件文档链接404了
2017/02/23 12:01
回复
举报
打分: 力荐
前段时间看到网上有kylin的书籍,不知道怎么样
2016/12/22 23:45
回复
举报
没有文档?? Kylin
2014/10/09 11:06
回复
举报
国人开发的额,为什么不发到osc,为毛没有中文文档!!! Apache Kylin
2014/12/05 14:59
回复
举报
我想知道如何使用,因为没有中文文档。 @kylin Apache Kylin
2014/12/29 08:48
回复
举报
看了下文档,实现得跟数据库非常类似了,非常赞 #Apache Kylin#
2015/09/07 11:14
回复
举报
更多评论
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
2019/08/30 13:03

kylin

中文官方网站 http://kylin.apache.org/cn/docs/tutorial/web.html Data Warehouse(数据仓库) 数据仓库是一个各种数据(包括历史数据和当前数据)的中心存储系统,是BI( business intelligence ,商业智能)的核心部件。 Business Intelligence(商业智能) 商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具。 OLAP(online analytical processing) OLAP(online analytical proce...

0
0
发表了博客
2018/03/20 15:17

kylin_学习_01_kylin安装部署

一、环境准备 根据官方文档,kylin是需要运行在hadoop环境下的,如下图: 1.hadoop环境搭建 参考:hadoop_学习_02_Hadoop环境搭建(单机) 2.hbase环境搭建 参考:hbase_学习_01_HBase环境搭建(单机) 3.hive环境搭建 参考:hive_学习_01_hive环境搭建(单机) 二、kylin下载与解压 1.下载地址 前往官方 http://kylin.apache.org/download 可发现提供了一个镜像下载地址,如下: http://mirrors.shu.edu.cn/apache/kylin/apache-kyli...

0
0
发表于AI & 大数据专区
2019/09/28 00:39

Kylin 入门

## 1 Kylin 概述 ### 1.1 Kylin定义 Apache Kylin 是一个开源的分布式分析引擎,提供 Hadoop/Spark 之上的 SQL 查询接口及多个维度分析(MOLAP)能力以支持超大规模数据,它能在亚秒内查询巨大的 Hive 表。 ### 1.2 术语解释 Data Warehouse(数据仓库):数据仓库是一个各种数据(包括历史数据和当前数据)的中心存储系统,是BI( business intelligence ,商业智能)的核心部件 Business Intelligence(商业智能):商业智能通...

0
0
发表于AI & 大数据专区
2020/03/19 22:15

Kylin认知 | Apache Kylin 混合模型介绍

前言:Apache Kylin v1.0引入了一个新的实现“混合模型”(也称为“动态模型”); 这篇文章介绍了这个概念以及如何创建一个混合实例。 面临的问题 对于传入的SQL查询,Kylin选择一个(并且只有一个)实现来提供查询; 在“混合”之前,只有一种类型的实现向用户开放:Cube。也就是说,只有1个Cube被选中来回答查询; 现在我们来看一个示例案例。假设用户有一个名为“Cube_V1”的多维数据集,它已经建立了几个月; 现在,用户希望添...

0
0
发表了博客
2018/06/03 22:33

简介Kylin

Apache Kylin 是 Hadoop 大数据平台上的一个开源 OLAP 引擎。它采用多维立方体预计算技术,可以将大数据的 SQL 查询速度提升到亚秒级别,它是一种以空间换时间的做法。 SQL on Hadoop 技术(Hive, Impala, SparkSQL等)将传统的数据库查询的小时级别提升到分钟级别,而 OLAP on Hadoop 则将 SQL on Hadoop 的分钟级别提升到亚秒级别。 SQL on Hadoop 的技术主要是:“大规模并行处理”(MPP: Massive Parallel Processing)和 ...

0
1
2019/06/19 20:26

Kylin 优化

Cube Build 过程中常见遇到的是性能问题,例如 SQL 查询过慢、Cube 构建时间过长甚至失败、 Cube 膨胀率过高等等。究其原因,大多数问题都是由于 Cube 设计不当造成的。因此,合理地进行 Cube 优化就显得尤为重要。 # 一、Cube优化方案: ## 1. 维度精简 去除查询中不会出现的维度,如数据创建日期 ## 2. 强制维度 把每次查询都需要的维度设为强制维度(Mandatory Dimensions) ## 3. 层次维度 把有层次的维度(省市或年月日)设...

0
0
2020/03/15 08:06

kylin平台

[root@cdh soft]# wget https://archive.apache.org/dist/kylin/apache-kylin-2.6.0/apache-kylin-2.6.0-bin-cdh57.tar.gz [root@cdh soft]# tar -zxf apache-kylin-2.6.2-bin-cdh57.tar.gz [root@cdh soft]# mv apache-kylin-2.6.2-bin-cdh57 kylin /opt/cm-5.12.1/etc/init.d/cloudera-scm-server start /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start 设置kylin home export KYLIN_HOME=/root/soft/kylin [root@cdh k...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表于服务端专区
2018/10/26 14:34

apache kylin 在build kylin_streaming_cube 时发生org.apache.kafka.clients.consumer.KafkaConsumer.assign的问题

build kylin_streaming_cube 时发生org.apache.kafka.clients.consumer.KafkaConsumer.assign(Ljava/util/Collection;)的问题。 环境CDH5.7.6,kylin2.1.0-bin-cdh57 kafka版本:(官网要求是0.10.0+) 报错如下: 2018-10-26 14:30:59,065 DEBUG [http-bio-7070-exec-9] kafka.KafkaSource:83 : Last segment doesn't exist, and didn't initiate the start offset, will seek from topic's earliest offset. 2018-10-26 14:30...

1
0
2020/06/02 14:20

kylin 部署tomcat报错

@1714574383 你好,想跟你请教个问题: 您好,我部署tomcat报错了,和您的错误一样,请问您是怎么解决的啊?

2
0
发表于大前端专区
2019/06/04 15:34

Kylin启动时Tomcat报错,7070后台无法访问

系统环境:JDK1.8.0_191、hadoop2.9.0、hbase2.0.4、Hive2.3.4、zookeeper3.4.13。 kylin的环境检查输出《check-env.sh》: Retrieving hadoop conf dir... KYLIN_HOME is set to /opt/kylin kylin启动后Tomcat的错误提示: SEVERE: ContainerBase.addChild: start: org.apache.catalina.LifecycleException: Failed to start component [StandardEngine[Catalina].StandardHost[localhost].StandardContext[/kylin]] ...

4
0
2019/04/02 19:49

Apache kylin build cube fial log "no counters for job" 

Apache kylin build cube fial log is "no counters for job" I created a model olap left join dimension table ,and build success. But olap inner join dimension table ,build cube fial. Who can help me?

1
0
2018/11/26 14:15

您好,请问对于Kylin的执行引擎,若用Spark来完成,是否有相关的接口,可以手工写Spark代码来完成?

@shaofengsh 你好,想跟你请教个问题:Apache Kylin的官方文档中,有关接口的描述并不多,我想问的是,二次开发是否只能根据提供的接口来完成,能否在代码中指定cube 名称,并指定相关的维度,调用自己写的jar包,完成预计算的过程,不需要在页面上来操作?

1
0
发表了问答
2016/09/07 11:44

kylin1.5启动报错

java.lang.LinkageError: loader constraint violation: when resolving method "org.slf4j.impl.StaticLoggerBinder.getLoggerFactory()Lorg/slf4j/ILoggerFactory;" the class loader (instance of org/apache/catalina/loader/WebappClassLoader) of the current class, org/slf4j/LoggerFactory, and the class loader (instance of sun/misc/Launcher$AppClassLoader) for the method's defining class, org/slf4j/impl/St...

2
0
发表了问答
2017/08/30 11:34

求助:apache kylin流式构建报错(zookeeper设置的地址貌似没生效)

从kafka读取消息,并构建cube,在“#15 Step Name: Convert Cuboid Data to HFile”这一步骤报错: INFO [main-SendThread(localhost:2181)] org.apache.zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error) 后台hbase等的zookeeper地址配置的是实际IP和4180端口,不清楚为啥到了这一步的reduce操作时,总是连到localhost:218...

1
0
发表于服务端专区
2018/07/19 14:44

全量更新,定时build的问题

curl -X PUT -H "Authorization: Basic QURNSU46S1lMSU4=" -H 'Content-Type: application/json' -d '{"endTime":'$endTime', "buildType":"BUILD"}' http:/$host:7070/kylin/api/cubes/$(cube_name)/rebuild 全量更新,endtime无论设置成什么,都会立刻构建,是什么问题...

1
0
2018/10/19 15:42

Streaming Table和Kafka遇到的Timeout expired while fetching topic metadata问题

大家好,我按照http://kylin.apache.org/cn/docs/tutorial/cube_streaming.html这个教程一路配置下来,做好model和cube,到build的时候报错,如下: 生产的命令: /opt/apache-kylin-2.5.0-bin-cdh57/bin/kylin.sh org.apache.kylin.source.kafka.util.KafkaSampleProducer --topic kylin_demo_1 --broker 192.168.1.14:9092 还有部分截图 kylin.log的日志如下: 2018-10-19 15:25:31,868 ERROR [http-bio-7070-exec-11] contro...

6
0
发表了问答
2017/11/20 16:56

【开源访谈】李栋:2.0 划时代版本后的 Apache Kylin ,前路何方?

Apache Kylin 2.0 正式版发布已有半年,社区反响如何,哪些特性最受欢迎,下一步将往哪个方向发展?本期,【开源访谈】邀请到了 Kyligence 技术合伙人兼高级软件架构师李栋,解疑 2.0 划时代版本之后的 Apache Kylin ,以及基于 Kylin 的云端服务平台 KyBot 。 【本期嘉宾】 李栋,Kyligence技术合伙人兼高级软件架构师,Apache Kylin Committer & PMC Member,专注于大数据技术研发,KyBot 技术负责人。毕业于上海交通大学计算...

3
7
发表了问答
2017/03/13 18:55

高手问答第 145 期 — 开源的分布式分析引擎 Apache Kylin

OSCHINA 本期高手问答(2017 年 3 月 14 日 — 3 月 20 日)我们请来了@shaofengsh (史少锋)和大家探讨开源分布式分析引擎 Apache Kylin 的相关问题。 @shaofengsh 史少峰,Kyligence 技术合伙人兼资深架构师,Apache Kylin 核心开发者和项目管理委员会成员(PMC),专注于大数据分析和云计算技术。曾任 eBay 全球分析基础架构部大数据高级工程师,IBM 云计算部门软件架构师;曾是 IBM 公有云 Bluemix DevOps团队核心成员,负责...

77
29
发表了问答
2016/09/07 18:08

kylin error in coprocessor

查询的时候出现这个异常不知道怎么解决

8
0
发表了问答
2016/09/21 10:34

kylin 删除SEGMENT或者添加中间时间片段的SEGMENT

我有一个cube 有9月3号到9月13号的SEGMENT,又跑了一个9月20到21的SEGMENT,但是想补上中间时间段的SEGMENT,发现没有地方可以删除【9月20到21的SEGMENT】,直接bulid【9月13到20的SEGMENT】提示开始时间不合法。。。。请教大家,不删除全部SEGMENT的情况下,有什么解决办法吗?

3
0
发表了问答
2017/05/04 19:01

【开源访谈】Kyligence 软件架构师李栋:开源是程序员巨大的财富

作为领先的大数据OLAP分析平台,Apache Kylin正逐渐从Hadoop上的传统OLAP演变为一个实时数据仓库。尤其是新引入的Spark Cubing构建引擎,大幅度提升了Cube预计算过程的效率。在这个过程中架构进行了怎样的优化?遇到过什么问题?开源在这中间又起到什么作用?本期,【开源访谈】邀请到了Kyligence技术合伙人兼高级软件架构师李栋向你讲解架构师眼中的开源。 【本期嘉宾】 李栋,Kyligence技术合伙人兼高级软件架构师,Apache Ky...

3
6
发表了问答
2017/03/23 11:49

部署kylin的服务器要有什么配置?我的是伪分布式,求大大提供资料参考0.0,菜鸟一枚

1
0
发表了问答
2016/10/25 21:33

CDH5.7.2环境跑比较大的任务时候,其他任务一直等待

CDH5.7.2环境跑比较大的任务时候,其他任务一直等待,小任务可以并行, 关键这个大任务,其实也不大也就10G的数据,我的配置8台128G内存的,CPU和内存还剩余好多,我觉得应该是配置的的问题,搜了好久,测试了好些参数配置都没有效果,所以才发帖子来问下的,谢谢大家了,请帮忙看看,我觉得肯定是这个任务占用了 分配的所有资源,导致其他任务只能等待。

8
1
发表了问答
2017/03/12 16:17

【开源访谈】Kyligence 技术合伙人李栋:商业产品与开源之我见

Apache Kylin 是一个开源的大数据 OLAP 分析引擎,是国内首个由中国团队贡献到 Apache 基金会的顶级开源项目。现在的Apache Kylin羽翼更丰,正逐渐从一个传统OLAP转变为一个实时数据仓库,目前在全球已150余家用户。同时兼顾开源和商业,其中有什么不同的感受?两者会不会出现矛盾和冲突?开发团队面临最大的挑战又是什么呢?本期,【开源访谈】邀请到了 Kyligence技术合伙人兼高级软件架构师李栋带来关于开源与商业之间的一些见...

1
3
发表了问答
2017/02/28 20:13

kylin 启动 log 报错: Failed to find metadata store by url: kylin_metadata@hbase

求大神99 0.0 1.kylin.log 2../check-env.sh 3.jps 4.hbase-site .xml 5. hbase shell

3
0
发表了问答
2016/11/22 09:31

Kylin-1.5.4-hbase1.x和cdh-5.9.0集成启动报错(已解决,应该下载cdh版本的kylin)

Related cause: org.springframework.beans.factory.BeanCurrentlyInCreationException: Error creating bean with name 'mvcContentNegotiationManager': Requested bean is currently in creation: lar reference? at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:454) at org.springframework.beans.factory.support.AbstractBeanFac...

3
0
发表了问答
2016/12/27 13:06

【开源访谈】韩卿:做开源背后的商业公司,“钱”路何方?

开源项目要如何盈利,开发团队要如何生存,相信许多做开源的开发者都思考过此类问题。在12月4日举办的 2016 OSC 源创会年终盛典上,曾邀请包括 Kyligence 的联合创始人兼 CEO 韩卿在内的多位大咖对开源技术的商业模式、盈利途径等话题展开讨论和思想碰撞。本期【开源访谈】再次邀请到了韩卿老师,和我们细谈作为 Apache Kylin 背后的商业公司,Kyligence 的商业模式是怎样的?开源项目商业化的关键点又在哪里? 【嘉宾简介】 韩...

1
8
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
14 评论
1.2K 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部