发表了博客
2019/06/24 10:29

FineReport连接ApacheKylin

1.前言 Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 Kylin 核心:Kylin OLAP引擎基础框架,包括元数据(Metadata)引擎,查询引擎,Job引擎及存储引擎等,同时包括REST服务器以响应客户端请求 扩展:支持额外功能和特性的插件 整合:与调度系统,ETL,监控等生命周期管理系统的整...

0
0
发表于服务端专区
2014/08/03 21:44

Ubuntu Kylin介绍

Ubuntu Kylin 以Ubuntu为参考,得到来自Debian、Ubuntu、LUPA及各地Linux用户组等国内外众多社区爱好者的广泛参与和热情支持 GNOME桌面主张简单、好用和恰到好处,因此GNOME开发中有两点很突出: 易用性——设计和创建为所有人所用的桌面和应用程序,不论其技术技巧和身体残疾。 国际化——保证桌面和应用程序可以用于很多语言。 引自GNOME网站: “GNOME计划提供了两个东西:GNOME桌面环境,一个对最终用户来说符合直觉并十分吸...

0
0
发表了博客
2020/05/17 16:24

Kylin的工作原理

Apache Kylin的工作原理本质上是 MOLAP(多维立方体分析)。 维度和度量 维度就是观察数据的角度,例如: 电商的销售数据,可以从时间的维度来观察,也可以细化从时间和地区的维度来观察 统计时,可以把维度值相同的记录聚合在一起,然后应用聚合函数做累加、平均、去重计数等聚合计算 度量就是被聚合的统计值,也是聚合运算的结果。 时间(维度) 销售额(度量) 2019 1Q 1.7M 2019 2Q 2.1M 2019 3Q 1.6M 2019 4Q 1.8M 时间(维...

0
0
发表于AI & 大数据专区
2018/12/10 16:20

kylin入门到实战

1.概述 kylin是一款开源的分布式数据分析工具,基于hadoop之上的sql查询接口,能支持超大规模的数据分析。响应时间在亚秒级别,其核心是预计算,计算结果存放在hbase中。 2.特性 可扩展超快OLAP引擎: Kylin是为减少在Hadoop上百亿规模数据查询延迟而设计 Hadoop ANSI SQL 接口: Kylin为Hadoop提供标准SQL支持大部分查询功能 交互式查询能力: 通过Kylin,用户可以与Hadoop数据进行亚秒级交互,在同样的数据集上提供比Hive更好的性...

0
0
发表了博客
2018/03/24 14:23

kylin实战(一)

kylin适用场景 OLAP 它适合数据量大,查询维度多,但是业务改动不频繁的场景。因为业务多,则kylin的cube很多。每次业务变更,kylin修改的工作量大,且每次全量跑数据耗费时间比较长。 它是采用空间换时间,预先将结果计算出来。维度较多时,数据膨胀很快。 如果查询结果可以直接命中,则查询速度很快;如果cube未覆盖,则查询很慢。 如果业务频繁迭代,初期可以考虑用mysql来支撑,等业务比较稳定以后,通过kylin来优化查询速度...

0
0
发表了博客
2019/09/17 09:29

kylin 密码错误

在上一篇文章《kylin Unable to login, please check your username/password.》中,提到,如果cdh的配置文件发生了更新,而kylin没有重启,导致账户密码不对。 最近集群没有重启,依然出现账户名密码无法连接的情况,原来默认的管理员账户可以访问但是新增加的ANALYST账户无法访问,排查日志根本什么都看不到,如下为kylin日志 如果服务重启,应用就能恢复。 2019-09-16 21:38:01,808 DEBUG [http-bio-7070-exec-7] security....

0
0
发表了博客
2019/02/18 11:06

Apache kylin概览

一、Apache kylin的核心概念 表(Table ):表定义在hive中,是数据立方体(Data cube)的数据源,在build cube 之前,必须同步在 kylin中。 模型(model):模型描述了一个星型模式的数据结构,它定义了一个事实表(Fact Table: Wiki:Fact_table)和多个查找表(Lookup Table:Wiki:Lookup_table)的连接和过滤关系。 立方体(Cube):它定义了使用的模型、模型中的表的维度(dimension:Wiki:dimension)、度量(measure:Wiki:...

0
0
发表于AI & 大数据专区
2020/04/20 19:37

Kylin插件架构

插件架构 插件架构旨在使 Kylin 在计算框架,数据源和 cube 存储方面具有可扩展性。从 v1 开始,Kylin 与作为计算框架的 Hadoop MapReduce,作为数据源的 Hive,作为存储的 HBase 紧密结合。这样的问题出现了:Kylin 可以使用 Spark 作为 cube 引擎,或者可以使用像 Cassandra 那样不同的存储。我们希望对不同的选择持开放态度,并确保 Kylin 用最好的技术堆栈进化。这就是 Kylin v2 中引入插件架构的原因。 如何运行 cube 元数...

0
0
发表了博客
2019/01/03 10:05

Kylin的垃圾清理

在Kylin运行一段时间之后,有很多数据因为不再使用而变成了垃圾数据,这些数据占据着大量HDFS、HBASE等资源,当积累到一定规模时会对集群性能产生影响。这些垃圾数据主要包括: Purge之后原Cube的数据 Cube合并之后原Cube Segment的数据 任务失败中未被正常清理的临时数据文件 已经过时的Cube构建的日志和历史任务 为了对这些垃圾数据进行清理,Kylin提供了两个常用的工具。特别注意:数据一经删除将彻底无法恢复!建议使用前一...

0
0
发表了博客
2019/03/21 11:40

设计CUBE by kylin

1.新增或者选择一个已有项目(project)后,将hive数据导入到kylin中,web界面的Model→Data source,导入数据 2.创建数据模型,数据模型是Cube的基础,它主要用于描述一个星形模型。有了数据模型以后,定义Cube的时候就可以直接从此模型定义的表和列中进行选择了,省去重复指定连接(join)条件的步骤。基于一个数据模型还可以创建多个Cube,以方便减少用户的重复性工作。在Kylin界面的“Models”页面中,单击“New”→“New M...

0
0
发表了博客
2018/06/05 10:38

Kylin的技术框架

Kylin系统可以分为在线查询和离线构建两部分,技术框架如图所示,在线查询模块主要处于上半区,而离线构建则处于下半区。 先看离线构造部分,左侧的 Hadoop Hive 作为数据源,保存着待分析的用户数据。根据元数据的定义,下方的构建引擎从数据源抽取数据,并构建Cube。数据以关系表的形式输入,且必须符合星型模型,如果是复杂的雪花模型,则先用视图转化为星型模型,再使用Kylin。MapReduce是当前主要的构造技术,后续的版本也...

0
1
发表了博客
2018/06/27 15:24

OLAP引擎——Kylin介绍(很有用)

转:http://blog.csdn.net/yu616568/article/details/48103415     Kylin是ebay开发的一套OLAP系统,与Mondrian不同的是,它是一个MOLAP系统,主要用于支持大数据生态圈的数据分析 业务,它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中(目前还仅支持hbase),这段时间对mondrian和kylin都进行了 使用,发现这两个系统是时间和空间的一个权衡吧,mondrian是一个ROLAP系统,所有的查询可以通过实时的数据库查询...

0
0
发表了博客
01/13 15:10

kylin安装http

Kylin使用的和ubuntu一样的系统,所以按照和ubuntu一样安装软件即可。 安装http sudo apt install npm //安装npm包管理器 1 2)安装完npm后,输入: $ sudo npm install http-server -g 1 参数-g表示全局安装,这样它就可以从终端运行,否则在终端输入http-server将提示找不到此命令。 测试: 在任意目录下输入: $ http-server //启动http-server Starting up http-server, serving Available on: http://127.0.0.1:8080 http:/...

0
0
发表了博客
2018/06/04 22:21

Kylin的工作原理

Kylin的工作原理本质上是MOLAP(Multidimensional Online Analytical Processing) Cube,也就是多维立方体分析。 在说明MOLAP Cube之前先介绍维度(Dimension)和度量(Measure)这两个概念。维度:观察数据的角度,正常是时间,地点等不用于计算的值;度量:指被聚合的统计值,也就是聚合运算的结果,可以是销售额,销售商品数量等统计值。 给定一个数据模型,可以对其上的所有维度进行组合。对于N个维度来说,组合的所有可能性共有...

0
0
发表于软件架构专区
2018/07/03 14:18

kylin 环境搭建

(0)JDK安装 https://www.cnblogs.com/ysocean/p/6952166.html (1)hadoop https://blog.csdn.net/qazwsxpcm/article/details/78637874 免密设置 https://www.2cto.com/net/201711/701369.html (2)hive https://blog.csdn.net/u013850277/article/details/55227833 后台运行 hivemetastore nohup hive --service metastore & hiveserver2 nohup hive --service hiveserver2 & hive + mysql https://www.cnblogs.com/xuwujin...

0
0
2019/01/10 22:35

kylin cube查询

kylin的sql查询基于calcite,其实现了自己的一套优化规则,可进行sql优化并获取sql中的table、aggreation等查询信息,具体映射规则如下: table => cube group, column => cuboid id group,where => Row Key aggreations => Row value 如果有四个维度ABCD,查询出现了A/B/C维度,但是这个cuboid并没有预计算,此时只能定位到A/B/C/D这个cuboid,在coprocessor中需要再根据D这一列执行聚合,进一步减小返回记录数。...

0
0
2020/12/19 16:06

Kylin 大数据下的OLAP解决方案和行业典型应用

点击上方蓝色字体,选择“设为星标” 回复”资源“获取更多资源 大数据技术与架构 点击右侧关注,大数据开发领域最强公众号! 大数据真好玩 点击右侧关注,大数据真好玩! 最近工作中应用到了 Kylin,因此调研了 Kylin的原理和行业应用。本文参考了官网和众多其他公司中 Kylin的应用案例,文末给出了出处,希望对大家有帮助。 Apache Kylin的原理和技术架构 Apache Kylin 从数据仓库中最常用的Hive中读取源数据,使用 MapReduc...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页