Apache Kylin 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Apache Kylin 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Apache Kylin 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Apache Kylin 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Apache Kylin 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache
开发语言 Java 查看源码 »
操作系统 跨平台
软件类型 开源软件
所属分类 大数据其他
开源组织 Apache
地区 国产
投 递 者 LukeHan
适用人群 未知
收录时间 2014-10-09

软件简介

Apache Kylin 是一个开源的分布式的 OLAP 分析引擎,来自 eBay 公司开发,基于 Hadoop 提供 SQL 接口和 OLAP 接口,支持 TB 到 PB 级别的数据量。

Apache Kylin 的商业支持请访问 http://kyligence.io/

Apache Kylin 是:

  • 超级快的 OLAP 引擎,具备可伸缩性

  • 为 Hadoop 提供 ANSI-SQL 接口

  • 交互式查询能力

  • MOLAP Cube

  • 可与其他 BI 工具无缝集成,如 Tableau,而 Microstrategy 和 Excel 将很快推出

其他值得关注的特性包括:

  • 作业管理和监控

  • 压缩和编码的支持

  • Cube 的增量更新

  • Leverage HBase Coprocessor for query latency

  • Approximate Query Capability for distinct Count (HyperLogLog)

  • 易用的 Web 管理、构建、监控和查询 Cube 的接口

  • Security capability to set ACL at Cube/Project Level

  • 支持 LDAP 集成

运行环境要求:

Hadoop

  • Hadoop: 2.2.0.2.0.6.0-61 or above

  • Hive: 0.12.0.2.0.6.0-61 or above

  • HBase: 0.96.0.2.0.6.0-61-hadoop2

Tested with Hortornworks distribution (HDP2.1.3), not tested with others yet.

Kylin Server

  • Command hadoop, hive, hbase is workable on your hadoop cluster

  • JDK Runtime: JDK7 (OpenJDK or Oracle JDK)

  • Maven

  • Git

  • Tomcat

  • Mysql

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (14)

加载中
支持国产,固定纬度常规指标分析场景,非常适用。
2020/10/24 11:39
回复
举报
看过2.3.1源码,整体架构不算特别复杂。 技术难点大概有两个,一个是如何基于i层快速计算i-1层的,另外一个是复杂sql如何能够路由找到预计算快照。 代码实现上抽象出了IStorage,ISource和IBatchCubingEngine, 但是实际代码实现上抽象程度并没有抽象接口看上去的那么抽象,能够随意组合。 rowkey数据结构强绑定,感觉存储好像除了HBase就没法换其他的存储了,基于kafka实现的source有很多地方和hive的source其实并不一样,有点强行统一接口的感觉。 任务调度器上分布式任务调度实现的有点简单,仅仅是基于zk来做任务lock,每个调度线程提交任务后,需要等待job返回,对于计算时间长和大批量任务的场景可能有点低效。 总体来说感觉实现方案上还有优化空间,代码还可以写的更优雅。
2018/11/16 16:50
回复
举报
Apche-kylin 可以和 CDH结合在一起吗?#Apache Kylin#?
2018/06/22 11:11
回复
举报
国产的好东西
2017/09/15 06:44
回复
举报
软件文档链接404了
2017/02/23 12:01
回复
举报
打分: 力荐
前段时间看到网上有kylin的书籍,不知道怎么样
2016/12/22 23:45
回复
举报
没有文档?? Kylin
2014/10/09 11:06
回复
举报
国人开发的额,为什么不发到osc,为毛没有中文文档!!! Apache Kylin
2014/12/05 14:59
回复
举报
我想知道如何使用,因为没有中文文档。 @kylin Apache Kylin
2014/12/29 08:48
回复
举报
看了下文档,实现得跟数据库非常类似了,非常赞 #Apache Kylin#
2015/09/07 11:14
回复
举报
更多评论
发表于数据库专区
2020/10/21 10:41

Apache Kylin 3.1.1 发布,开源分布式分析引擎

Apache Kylin 3.1.1 已发布,这是一个开源的、分布式的分析型数据仓库,提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。 3.1.1 是针对 3.1.0 的 bugfix 版本,包含 21 项 bugfix 和 37 项功能改进。 Bug Fix [KYLIN-4515] - 修复无法在 ssl 端口发送邮件的问题 [KYLIN-4578] - 当属性 * ‘kylin.storage.hbase.table-name-pref...

0
4
发表于数据库专区
2020/09/14 07:26

Apache Kylin 4.0.0-alpha 发布,开源分布式分析引擎

Apache Kylin 4.0.0-alpha 发布了。它是一个开源的、分布式的分析型数据仓库,提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。 这是继 3.1.0 之后的主要版本,具有 35 个新特性/改进和 22 个错误修复。 新特性 [KYLIN-4188] - Parquet 作为多维数据集存储 V2 [KYLIN-4213] - 带有 Spark-SQL 的新构建引擎 [KYLIN-4452] - Kylin...

1
4
发表于AI & 大数据专区
2020/07/05 08:28

Apache Kylin 3.1.0 发布,开源分布式分析引擎

Apache Kylin 3.1.0 已发布,这是一个开源的、分布式的分析型数据仓库,提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。 3.1.0 是继 3.0.0 后的主要版本,包含 10 项新特性、68 个功能增强以及 75 处错误修复。 新特性 [KYLIN-3361] - 新增一个两层 udaf:stddev_sum [KYLIN-3758] - 新增 Flink Cube 构建引擎 [KYLIN-3832] -...

0
6
发表于AI & 大数据专区
2020/05/24 08:17

Apache Kylin 3.0.2 发布,开源的分布式分析引擎

Apache Kylin 3.0.2 发布了,主要带来了以下改进: [KYLIN-3628] - 查询表中的查询始终使用最新快照 [KYLIN-4132] - Kylin 无需使用 “org.apache.directory.api.util.Strings” 来导入 api-util.jar [KYLIN-4388] - 优化 Dockerfile [KYLIN-4390] - 将 tomcat 更新为 7.0.100 [KYLIN-4400] - 在 system-cube.sh 中将 beeline 用作配置单元客户端 [KYLIN-4437] - 替换掉弃用的 “mapred.job.name” 此版本还有不少 bug 修复,详...

0
6
发表于AI & 大数据专区
2020/02/28 08:20

Apache Kylin 发现 SQL 注入漏洞,已修复

Apache Kylin 中发现了 SQL 注入漏洞,危害等级标注为“严重”,编号 CVE-2020-1937。 根据描述,Kylin 中有一些 RESTful API 会将用户输入的字符串连接到 SQL 中,用户能够运行恶意数据库查询语句。 影响版本包括: Kylin 2.3.0 to 2.3.2 Kylin 2.4.0 to 2.4.1 Kylin 2.5.0 to 2.5.2 Kylin 2.6.0 to 2.6.4 Kylin 3.0.0-alpha Kylin 3.0.0-alpha2 Kylin 3.0.0-beta Kylin 3.0.0 官方要求用户升级到 3.0.1 或 2.6.5,这两个版本也...

1
0
发表于软件架构专区
2020/02/28 07:40

Apache Kylin 3.0.1 和 2.6.5 发布,修复严重漏洞

Apache Kylin 3.0.1 和 2.6.5 发布了,这两个版本修复了严重的 SQL 注入漏洞,建议尽快升级。 3.0.1 版本更新内容 Improvement [KYLIN-3956] - 流多维数据集的段和批处理多维数据集的段都需要显示其状态 [KYLIN-4197] - DiagnosisInfoCLI永远在 “beeline –version” 中被阻止 [KYLIN-4225] - 未关闭的配置单元会话导致过多的临时文件 [KYLIN-4237] - 执行 “SQL 解释计划”以获取 SQL 的执行计划时,返回错误 [KYLIN-4280] -...

0
1
发表于大前端专区
2019/12/24 07:24

Apache Kylin 3.0.0 发布,开源的分布式分析引擎

Apache Kylin 3.0.0 发布了,更新内容如下: New Feature [KYLIN-4098] - 添加多维数据集自动合并 API [KYLIN-3883] - Kylin 支持列数聚合 Improvement [KYLIN-565] - 不支持的 SQL 函数 [KYLIN-1772] - 当细分不正常时,请在多维数据集管理视图的 HBase 选项卡页面上高亮细分 [KYLIN-1850] - 在 GUI 上显示 Kylin 版本 [KYLIN-2431] - StorageCleanupJob 将删除由其他 kylin 实例创建的中间表 …… Bug Fix [KYLIN-1716] - 离开...

0
10
发表于软件架构专区
2019/07/10 07:30

Apache Kylin 2.6.3 发布,Bug 修复版本

Apache Kylin 2.6.3 发布了。新版是个 Bug 修复版本,包含 7 个增强功能和 9 个 bug 修复。 新版更新内容有: [KYLIN-4024] - Presto 支持 pushdown [KYLIN-3977] - 在构建作业运行时,避免通过存储清理错误地删除 dicts [KYLIN-4023] - 使用 Jdbc 的时间戳或日期查询类型的列转换为本地时间 [KYLIN-3893] - 多维数据集构建因错误的行键列描述失败 [KYLIN-4020] - 为 fix_length 编码的输入添加检查 [KYLIN-3998] - 在 cube pla...

1
7
2019/04/18 20:51

Apache Kylin v3.0.0-alpha 正式发布

Apache Kylin v3.0.0-alpha 正式发布!欢迎大家下载使用。在这个版本中,值得关注的是: 3.0.0-alpha 增加了对流式数据源进行实时查询的能力,详情可以查看KYLIN-3654; 在KYLIN-3795中,我们使用Livy Rest API提交Spark Job,从而免除本地安装Spark客户端配置的麻烦; KYLIN-3820增加了新的基于Zookeeper的作业调度器。 Apache Kylin 是一个开源的分布式分析引擎,提供 Hadoop 之上的 SQL 查询接口及多维分析(OLAP)能力,支持...

0
7
发表于开发技能专区
2019/04/18 06:32

Apache Kylin 3.0.0-alpha 发布,开源的分布式分析引擎

Apache Kylin 3.0.0-alpha 发布了,该版本是 3.0 系列的 alpha 版本,具有新的实时 OLAP 功能。 新特性: [KYLIN-3654] - Kylin 实时流媒体 [KYLIN-3795] - 通过 Apache Livy 提交 Spark 工作 [KYLIN-3820] - 添加基于 curator 的调度程序 新版本包含大量改进和错误修复,详情可查看发布日志。 Apache Kylin™ 是一个开源的分布式分析引擎,提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据,最...

0
11
发表于服务端专区
2019/03/21 06:50

Apache Kylin v2.6.1 发布,开源的分布式分析引擎

Apache Kylin v2.6.1 发布了。新版是个 Bug 修复版本,包含7个功能增强和19个 Bug 修复。 新版更新内容有: [KYLIN-3780] - 在作业信息和邮件通知中新增构建实例 [KYLIN-3794] - TupleFilterVisitor 的 mergeToInClause 某些情况不能正常工作 [KYLIN-3804] - 高级快照(Snapshot)不友好的保存 [KYLIN-3816] - 当前的 CI 不包括流表连接查找表的情况 [KYLIN-3819] - kylin.sh 在前台运行 [KYLIN-3822] - “bin/kylin.sh org.ap...

0
8
发表于服务端专区
2019/01/24 15:40

Apache Kylin v2.6.0 正式发布,开源的分布式分析引擎

近日,Apache Kylin 社区很高兴地宣布,Apache Kylin v2.6.0 正式发布。 Apache Kylin 是一个开源的分布式分析引擎,旨在为极大数据集提供 SQL 接口和多维分析(OLAP)的能力。 Apache Kylin v2.6.0 是继 v2.5.0 后的一个新功能版本,该版本引入了很多有价值的改进,完整的改动列表请参见release notes: https://kylin.apache.org/docs/release_notes.html 在这里,我们将挑一些主要改进做说明。 针对以JDBC为数据源的SDK Kylin...

0
8
发表于大前端专区
2018/11/08 10:40

Apache Kylin v2.5.1 正式发布

Apache Kylin社区于日前宣布:Apache Kylin v2.5.1 正式发布!欢迎大家下载使用。 Apache Kylin 是一个开源的分布式分析引擎,提供 Hadoop 之上的 SQL 查询接口及多维分析(OLAP)能力,支持对超大规模数据进行亚秒级查询。 关于 Release notes Apache Kylin v2.5.1 是继 v2.5.0 版本后的一次修复 bug 的更新,共修复了超过30 个 issues,包括缺陷修复和改进等,详情请访问 release notes 链接 关于重要更新 增加批量添加度量的...

0
13
发表于大前端专区
2018/10/07 10:42

Apache Kylin v2.5.0 正式发布,开源分布式分析引擎

日前,Apache Kylin 社区宣布,Apache Kylin v2.5.0 正式发布。 Apache Kylin 是一个开源的分布式分析引擎,旨在为极大数据集提供 SQL 接口和多维分析(OLAP)的能力。 这是继 Kylin v2.4.0 版本后的又一个新功能版本,该版本引入了许多极具价值的改进,包括但不限于以下几类: All-in-Spark 的 Cubing 引擎 Kylin 的 Spark 引擎将使用 Spark 运行 Cube 计算中的所有分布式作业,包括获取各个维度的不同值,将 Cuboid 文件转换为...

0
9
发表于AI & 大数据专区
2018/09/20 11:54

Apache Kylin 2.5.0 发布,开源分布式分析引擎

Apache Kylin 2.5.0 已发布,这是 2.4 之后的又一个主要版本,包含 96 项修复以及各种改进,像是支持 Hadoop 3.0,支持将 MySQL 作为 Kylin 元数据存储,支持 HBase 2.0 等等,具体内容请查看发行说明。 发行说明和升级指南 源码下载: apache-kylin-2.5.0-source-release.zip 二进制包下载: for HBase 1.x (includes HDP 2.3+, AWS EMR 5.0+, Azure HDInsight 3.4 - 3.6) - apache-kylin-2.5.0-bin-hbase1x.tar.gz for CDH 5.7+...

1
6
发表于软件架构专区
2018/09/11 07:27

Apache Kylin 2.4.1 发布,开源分布式分析引擎

Apache Kylin 2.4.1 已发布,这是针对 2.4.0 的 bug 修复版本,包含22项修复和功能改进。 发行说明和升级指南 源代码下载:apache-kylin-2.4.1-src.tar.gz 二进制包下载: for HBase 1.x (includes HDP 2.3+, AWS EMR 5.0+, Azure HDInsight 3.4 - 3.6) - apache-kylin-2.4.1-bin-hbase1x.tar.gz for CDH 5.7+ - apache-kylin-2.4.1-bin-cdh57.tar.gz Apache Kylin™ 是一个开源的分布式分析引擎,提供 Hadoop/Spark 之上的 SQ...

0
3
2018/07/09 07:27

Apache Kylin 2.3.2 和 2.4.0 发布,多项改进

Apache Kylin 2.3.2 发布了。Apache Kylin 是一个开源的分布式的 OLAP 分析引擎,来自 eBay 公司开发,基于 Hadoop 提供 SQL 接口和 OLAP 接口,支持 TB 到 PB 级别的数据量。 更新内容如下: 2.3.2 改进 [KYLIN-3345] - 使用 Apache Parent POM 19 [KYLIN-3372] - 出于安全考虑,升级 jackson-databind 版本 [KYLIN-3415] - 移除 “external” 模块 Bug 修复 [KYLIN-3115] - 不兼容的 RowKeySplitter 在构建和合并作业之间初始...

0
2
发表于开发技能专区
2018/06/28 07:13

Apache Kylin 2.4.0 发布,支持 Kafka 与 Hive 表 join

Apache Kylin 2.4.0 发布了,Apache Kylin 是一个开源的分布式的 OLAP 分析引擎,来自 eBay 公司开发,基于 Hadoop 提供 SQL 接口和 OLAP 接口,支持 TB 到 PB 级别的数据量。 2.4.0 是 2.3.x 之后的主要版本,包含8个新功能和30多个 bug 修复和增强功能,主要更新如下: 支持将 Lookup 表快照存储到 HBase KYLIN-3221 支持 SUM(expression), COUNT(col) KYLIN-3358 支持 Kafka 与 Hive 表 join KYLIN-3378 支持对 Kafka 数据源...

1
3
发表于服务端专区
2018/03/05 08:08

Apache Kylin 2.3.0 发布,开源分布式分析引擎

Apache Kylin 2.3.0 已发布,这是继 2.2.0 之后的一个重要版本,包含超过 250 个错误修复和功能增强。点此查看升级指南。 新特性 - [KYLIN-3125] - Support SparkSql in Cube building step “Create Intermediate Flat Hive Table” - [KYLIN-3052] - Support Redshift as data source - [KYLIN-3044] - Support SQL Server as data source - [KYLIN-2999] - One click migrate cube in web - [KYLIN-2960] - Support user/gro...

0
11
发表了资讯
2017/11/05 07:07

Apache Kylin 2.2.0 发布,开源分布式分析引擎

Apache Kylin v2.2.0 正式版发布了。Apache Kylin 是一个开源的分布式的 OLAP 分析引擎,来自 eBay 公司开发,基于 Hadoop 提供 SQL 接口和 OLAP 接口,支持 TB 到 PB 级别的数据量。 这是2.1之后的一个主要版本,有修复了70多个 bug 和改进: 新特性: [KYLIN-2703] - Manage ACL through Apache Ranger [KYLIN-2752] - Make HTable name prefix configurable [KYLIN-2761] - Table Level ACL [KYLIN-2775] - Streaming Cube S...

0
15
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
2019/08/30 13:03

kylin

中文官方网站 http://kylin.apache.org/cn/docs/tutorial/web.html Data Warehouse(数据仓库) 数据仓库是一个各种数据(包括历史数据和当前数据)的中心存储系统,是BI( business intelligence ,商业智能)的核心部件。 Business Intelligence(商业智能) 商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具。 OLAP(online analytical processing) OLAP(online analytical proce...

0
0
发表了博客
2018/03/20 15:17

kylin_学习_01_kylin安装部署

一、环境准备 根据官方文档,kylin是需要运行在hadoop环境下的,如下图: 1.hadoop环境搭建 参考:hadoop_学习_02_Hadoop环境搭建(单机) 2.hbase环境搭建 参考:hbase_学习_01_HBase环境搭建(单机) 3.hive环境搭建 参考:hive_学习_01_hive环境搭建(单机) 二、kylin下载与解压 1.下载地址 前往官方 http://kylin.apache.org/download 可发现提供了一个镜像下载地址,如下: http://mirrors.shu.edu.cn/apache/kylin/apache-kyli...

0
0
发表于AI & 大数据专区
2019/09/28 00:39

Kylin 入门

## 1 Kylin 概述 ### 1.1 Kylin定义 Apache Kylin 是一个开源的分布式分析引擎,提供 Hadoop/Spark 之上的 SQL 查询接口及多个维度分析(MOLAP)能力以支持超大规模数据,它能在亚秒内查询巨大的 Hive 表。 ### 1.2 术语解释 Data Warehouse(数据仓库):数据仓库是一个各种数据(包括历史数据和当前数据)的中心存储系统,是BI( business intelligence ,商业智能)的核心部件 Business Intelligence(商业智能):商业智能通...

0
0
发表于AI & 大数据专区
2020/03/19 22:15

Kylin认知 | Apache Kylin 混合模型介绍

前言:Apache Kylin v1.0引入了一个新的实现“混合模型”(也称为“动态模型”); 这篇文章介绍了这个概念以及如何创建一个混合实例。 面临的问题 对于传入的SQL查询,Kylin选择一个(并且只有一个)实现来提供查询; 在“混合”之前,只有一种类型的实现向用户开放:Cube。也就是说,只有1个Cube被选中来回答查询; 现在我们来看一个示例案例。假设用户有一个名为“Cube_V1”的多维数据集,它已经建立了几个月; 现在,用户希望添...

0
0
发表了博客
2018/06/03 22:33

简介Kylin

Apache Kylin 是 Hadoop 大数据平台上的一个开源 OLAP 引擎。它采用多维立方体预计算技术,可以将大数据的 SQL 查询速度提升到亚秒级别,它是一种以空间换时间的做法。 SQL on Hadoop 技术(Hive, Impala, SparkSQL等)将传统的数据库查询的小时级别提升到分钟级别,而 OLAP on Hadoop 则将 SQL on Hadoop 的分钟级别提升到亚秒级别。 SQL on Hadoop 的技术主要是:“大规模并行处理”(MPP: Massive Parallel Processing)和 ...

0
1
2019/06/19 20:26

Kylin 优化

Cube Build 过程中常见遇到的是性能问题,例如 SQL 查询过慢、Cube 构建时间过长甚至失败、 Cube 膨胀率过高等等。究其原因,大多数问题都是由于 Cube 设计不当造成的。因此,合理地进行 Cube 优化就显得尤为重要。 # 一、Cube优化方案: ## 1. 维度精简 去除查询中不会出现的维度,如数据创建日期 ## 2. 强制维度 把每次查询都需要的维度设为强制维度(Mandatory Dimensions) ## 3. 层次维度 把有层次的维度(省市或年月日)设...

0
0
2020/03/15 08:06

kylin平台

[root@cdh soft]# wget https://archive.apache.org/dist/kylin/apache-kylin-2.6.0/apache-kylin-2.6.0-bin-cdh57.tar.gz [root@cdh soft]# tar -zxf apache-kylin-2.6.2-bin-cdh57.tar.gz [root@cdh soft]# mv apache-kylin-2.6.2-bin-cdh57 kylin /opt/cm-5.12.1/etc/init.d/cloudera-scm-server start /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start 设置kylin home export KYLIN_HOME=/root/soft/kylin [root@cdh k...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
2018/10/26 14:34

apache kylin 在build kylin_streaming_cube 时发生org.apache.kafka.clients.consumer.KafkaConsumer.assign的问题

build kylin_streaming_cube 时发生org.apache.kafka.clients.consumer.KafkaConsumer.assign(Ljava/util/Collection;)的问题。 环境CDH5.7.6,kylin2.1.0-bin-cdh57 kafka版本:(官网要求是0.10.0+) 报错如下: 2018-10-26 14:30:59,065 DEBUG [http-bio-7070-exec-9] kafka.KafkaSource:83 : Last segment doesn't exist, and didn't initiate the start offset, will seek from topic's earliest offset. 2018-10-26 14:30...

1
0
2020/06/02 14:20

kylin 部署tomcat报错

@1714574383 你好,想跟你请教个问题: 您好,我部署tomcat报错了,和您的错误一样,请问您是怎么解决的啊?

2
0
2019/06/04 15:34

Kylin启动时Tomcat报错,7070后台无法访问

系统环境:JDK1.8.0_191、hadoop2.9.0、hbase2.0.4、Hive2.3.4、zookeeper3.4.13。 kylin的环境检查输出《check-env.sh》: Retrieving hadoop conf dir... KYLIN_HOME is set to /opt/kylin kylin启动后Tomcat的错误提示: SEVERE: ContainerBase.addChild: start: org.apache.catalina.LifecycleException: Failed to start component [StandardEngine[Catalina].StandardHost[localhost].StandardContext[/kylin]] ...

4
0
2019/04/02 19:49

Apache kylin build cube fial log "no counters for job" 

Apache kylin build cube fial log is "no counters for job" I created a model olap left join dimension table ,and build success. But olap inner join dimension table ,build cube fial. Who can help me?

1
0
2018/11/26 14:15

您好,请问对于Kylin的执行引擎,若用Spark来完成,是否有相关的接口,可以手工写Spark代码来完成?

@shaofengsh 你好,想跟你请教个问题:Apache Kylin的官方文档中,有关接口的描述并不多,我想问的是,二次开发是否只能根据提供的接口来完成,能否在代码中指定cube 名称,并指定相关的维度,调用自己写的jar包,完成预计算的过程,不需要在页面上来操作?

1
0
发表了问答
2016/09/07 11:44

kylin1.5启动报错

java.lang.LinkageError: loader constraint violation: when resolving method "org.slf4j.impl.StaticLoggerBinder.getLoggerFactory()Lorg/slf4j/ILoggerFactory;" the class loader (instance of org/apache/catalina/loader/WebappClassLoader) of the current class, org/slf4j/LoggerFactory, and the class loader (instance of sun/misc/Launcher$AppClassLoader) for the method's defining class, org/slf4j/impl/St...

2
0
发表了问答
2017/08/30 11:34

求助:apache kylin流式构建报错(zookeeper设置的地址貌似没生效)

从kafka读取消息,并构建cube,在“#15 Step Name: Convert Cuboid Data to HFile”这一步骤报错: INFO [main-SendThread(localhost:2181)] org.apache.zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error) 后台hbase等的zookeeper地址配置的是实际IP和4180端口,不清楚为啥到了这一步的reduce操作时,总是连到localhost:218...

1
0
2018/07/19 14:44

全量更新,定时build的问题

curl -X PUT -H "Authorization: Basic QURNSU46S1lMSU4=" -H 'Content-Type: application/json' -d '{"endTime":'$endTime', "buildType":"BUILD"}' http:/$host:7070/kylin/api/cubes/$(cube_name)/rebuild 全量更新,endtime无论设置成什么,都会立刻构建,是什么问题...

1
0
发表于服务端专区
2018/10/19 15:42

Streaming Table和Kafka遇到的Timeout expired while fetching topic metadata问题

大家好,我按照http://kylin.apache.org/cn/docs/tutorial/cube_streaming.html这个教程一路配置下来,做好model和cube,到build的时候报错,如下: 生产的命令: /opt/apache-kylin-2.5.0-bin-cdh57/bin/kylin.sh org.apache.kylin.source.kafka.util.KafkaSampleProducer --topic kylin_demo_1 --broker 192.168.1.14:9092 还有部分截图 kylin.log的日志如下: 2018-10-19 15:25:31,868 ERROR [http-bio-7070-exec-11] contro...

6
0
发表了问答
2017/11/20 16:56

【开源访谈】李栋:2.0 划时代版本后的 Apache Kylin ,前路何方?

Apache Kylin 2.0 正式版发布已有半年,社区反响如何,哪些特性最受欢迎,下一步将往哪个方向发展?本期,【开源访谈】邀请到了 Kyligence 技术合伙人兼高级软件架构师李栋,解疑 2.0 划时代版本之后的 Apache Kylin ,以及基于 Kylin 的云端服务平台 KyBot 。 【本期嘉宾】 李栋,Kyligence技术合伙人兼高级软件架构师,Apache Kylin Committer & PMC Member,专注于大数据技术研发,KyBot 技术负责人。毕业于上海交通大学计算...

3
7
发表了问答
2017/03/13 18:55

高手问答第 145 期 — 开源的分布式分析引擎 Apache Kylin

OSCHINA 本期高手问答(2017 年 3 月 14 日 — 3 月 20 日)我们请来了@shaofengsh (史少锋)和大家探讨开源分布式分析引擎 Apache Kylin 的相关问题。 @shaofengsh 史少峰,Kyligence 技术合伙人兼资深架构师,Apache Kylin 核心开发者和项目管理委员会成员(PMC),专注于大数据分析和云计算技术。曾任 eBay 全球分析基础架构部大数据高级工程师,IBM 云计算部门软件架构师;曾是 IBM 公有云 Bluemix DevOps团队核心成员,负责...

77
29
发表了问答
2016/09/07 18:08

kylin error in coprocessor

查询的时候出现这个异常不知道怎么解决

8
0
发表了问答
2016/09/21 10:34

kylin 删除SEGMENT或者添加中间时间片段的SEGMENT

我有一个cube 有9月3号到9月13号的SEGMENT,又跑了一个9月20到21的SEGMENT,但是想补上中间时间段的SEGMENT,发现没有地方可以删除【9月20到21的SEGMENT】,直接bulid【9月13到20的SEGMENT】提示开始时间不合法。。。。请教大家,不删除全部SEGMENT的情况下,有什么解决办法吗?

3
0
发表了问答
2017/05/04 19:01

【开源访谈】Kyligence 软件架构师李栋:开源是程序员巨大的财富

作为领先的大数据OLAP分析平台,Apache Kylin正逐渐从Hadoop上的传统OLAP演变为一个实时数据仓库。尤其是新引入的Spark Cubing构建引擎,大幅度提升了Cube预计算过程的效率。在这个过程中架构进行了怎样的优化?遇到过什么问题?开源在这中间又起到什么作用?本期,【开源访谈】邀请到了Kyligence技术合伙人兼高级软件架构师李栋向你讲解架构师眼中的开源。 【本期嘉宾】 李栋,Kyligence技术合伙人兼高级软件架构师,Apache Ky...

3
6
发表了问答
2017/03/23 11:49

部署kylin的服务器要有什么配置?我的是伪分布式,求大大提供资料参考0.0,菜鸟一枚

1
0
发表了问答
2016/10/25 21:33

CDH5.7.2环境跑比较大的任务时候,其他任务一直等待

CDH5.7.2环境跑比较大的任务时候,其他任务一直等待,小任务可以并行, 关键这个大任务,其实也不大也就10G的数据,我的配置8台128G内存的,CPU和内存还剩余好多,我觉得应该是配置的的问题,搜了好久,测试了好些参数配置都没有效果,所以才发帖子来问下的,谢谢大家了,请帮忙看看,我觉得肯定是这个任务占用了 分配的所有资源,导致其他任务只能等待。

8
1
发表了问答
2017/03/12 16:17

【开源访谈】Kyligence 技术合伙人李栋:商业产品与开源之我见

Apache Kylin 是一个开源的大数据 OLAP 分析引擎,是国内首个由中国团队贡献到 Apache 基金会的顶级开源项目。现在的Apache Kylin羽翼更丰,正逐渐从一个传统OLAP转变为一个实时数据仓库,目前在全球已150余家用户。同时兼顾开源和商业,其中有什么不同的感受?两者会不会出现矛盾和冲突?开发团队面临最大的挑战又是什么呢?本期,【开源访谈】邀请到了 Kyligence技术合伙人兼高级软件架构师李栋带来关于开源与商业之间的一些见...

1
3
发表了问答
2017/02/28 20:13

kylin 启动 log 报错: Failed to find metadata store by url: kylin_metadata@hbase

求大神99 0.0 1.kylin.log 2../check-env.sh 3.jps 4.hbase-site .xml 5. hbase shell

3
0
发表了问答
2016/11/22 09:31

Kylin-1.5.4-hbase1.x和cdh-5.9.0集成启动报错(已解决,应该下载cdh版本的kylin)

Related cause: org.springframework.beans.factory.BeanCurrentlyInCreationException: Error creating bean with name 'mvcContentNegotiationManager': Requested bean is currently in creation: lar reference? at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:454) at org.springframework.beans.factory.support.AbstractBeanFac...

3
0
发表了问答
2016/12/27 13:06

【开源访谈】韩卿:做开源背后的商业公司,“钱”路何方?

开源项目要如何盈利,开发团队要如何生存,相信许多做开源的开发者都思考过此类问题。在12月4日举办的 2016 OSC 源创会年终盛典上,曾邀请包括 Kyligence 的联合创始人兼 CEO 韩卿在内的多位大咖对开源技术的商业模式、盈利途径等话题展开讨论和思想碰撞。本期【开源访谈】再次邀请到了韩卿老师,和我们细谈作为 Apache Kylin 背后的商业公司,Kyligence 的商业模式是怎样的?开源项目商业化的关键点又在哪里? 【嘉宾简介】 韩...

1
8
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
14 评论
1.2K 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部