OLAP 存储和分析系统 Pinot

Apache
Java
跨平台
Linkedin
2015-06-12
红薯

Pinot 是一个实时分布式的 OLAP 数据存储和分析系统。LinkedIn 使用它实现低延迟可伸缩的实时分析。Pinot 从离线数据源(包括 Hadoop 和各类文件)和在线数据源(如 Kafka)中攫取数据进行分析。Pinot 被设计是可以进行水平扩展的。

Pinot 特别适合这样的数据分析场景:分析模型固定,数据只追加以及低延迟,以及分析结果可查询。

关键特性:

  • 面向列的数据库,提供多种压缩模式,如运行长度、固定比特长度

  • 可插入式的索引技术,包括可排序索引、Bitmap 索引和反向索引

  • 可根据查询和段元数据对查询和执行进行优化

  • 近乎实时的从 Kafka 获取数据,以及批量从 Hadoop 获取数据

  • 类 SQL 的语言支持查询、聚合、过滤、分组、排序和去重

  • 支持多值字段

  • 水平伸缩以及容错

Pinot 非常使用用来查询时许数据以及大维度的数组。

Pinot 的组件架构:

Pinot 核心概念:

示例查询:

/*Total number of documents in the table*/
select count(*) from baseballStats limit 0

/*Top 5 run scorers of all time*/ 
select sum('runs') from baseballStats group by playerName top 5 limit 0

/*Top 5 run scorers of the year 2000*/
select sum('runs') from baseballStats where yearID=2000 group by playerName top 5 limit 0

/*Top 10 run scorers after 2000*/
select sum('runs') from baseballStats where yearID>=2000 group by playerName limit 0

/*Select playerName,runs,homeRuns for 10 records from the table and order them by yearID*/
select playerName,runs,homeRuns from baseballStats order by yearID limit 1
加载中

评论(0)

暂无评论

暂无资讯

2
回答
有没有人使用Pinot ,部署过一个成功项目

有没有人使用Pinot ,部署过一个成功项目有没有人使用Pinot ,部署过一个成功项目 使用在公司的生产上@红薯

2015/10/14 10:57

没有更多内容

加载失败,请刷新页面

没有更多内容

时序列数据库武斗大会之 TSDB 名录 Part 1

通过上一章《时序列数据库武斗大会之什么是TSDB》的介绍,相信大家已经知道了什么是时序列数据库,以及对它能干什么,具有什么特点。 那么在这一篇文章中,我们将介绍一下目前都有哪些 TSDB...

2016/03/18 12:39
74
4
LinkedIn架构进化简史 Brief History Scaling Linkedin

介绍了LinkedIn自2003年以来技术架构的演化过程,主要包括leo,数据库分离分区、SOA、缓存、Kafka、Rest.li等技术的使用。

2015/07/24 00:28
253
0
数据生成器

data-generator是一个Java实现的数据生成器开源项目。 如果你在从事大数据BI的工作,想对比一下MySQL、GreenPlum、Elasticsearch、Hive、Presto、Impala、Drill、HAWQ、Druid、Pinot、Kylin...

2018/04/29 23:12
561
2
100 open source Big Data architecture papers

Big Data technology has been extremely disruptive with open source playing a dominant role in shaping its evolution. While on one hand it has been disruptive, on the other it ha...

2016/04/05 09:36
72
1
LinkedIn是如何利用数据分析驱动产品的?

让我们看看这家全球最大的职业社交网站、第三大社交网络的运营数据。目前,LinkedIn有着2.7亿注册用户,大约400万家公司入驻,已经成为了职场人士最重要的在线交流和招聘求职平台。更引人注意...

2014/12/29 13:55
8
0
LinkedIn For Dummies 免积分下载

图书说明: 使LinkedIn成为您的头号专业品牌推广工具 LinkedIn是寻求发现新机会,增强个人品牌,与其他专业人士联系以及促进职业发展的专业人士的首选社交网络。使用LinkedIn For Dummies,您...

01/06 11:56
0
0
LinkedIn Samza

Samza是近日由LinkedIn开源的一项技术,它是一个分布式流处理框架,专用于实时数据的处理,非常像Twitter的流处理系统Storm。不同的是Samza基于Hadoop,而且使用了LinkedIn自家的Kafka分布式...

2015/05/03 09:40
51
0
探秘LinkedIn工程师团队:技术党支撑的SNS未来

来源:www.tmtpost.com 作者:钛媒体译者团队 钛媒体注:美国知名科技博客GigaOM近日刊登了对LinkedIn几大数据构架工程师的访谈文章, 试图探寻LinkedIn幕后数据挖掘技术的全景图。LinkedIn是...

2013/03/08 18:05
163
0
LinkedIn整合3核心人才工具目的打造智能招聘平台

LinkedIn最近宣布将旗下3个核心人才工具整合成一个单一的智能招聘平台,包含Jobs、 Recruiter和Pipeline,藉由将这些工具整合至单一平台,让招聘过程更简单、有效率。在企业实地使用这些服务...

02/15 15:53
0
0
如何通过 OAuth 2.0 使 iOS Apps 集成 LinkedIn 登录功能?

社交网络早已成为人们日常生活的一部分。其实,社交网络也是编程生活的一部分,大多数 App 必须通过某种方式与社交网络交互,传送或接收与用户相关的数据。大多数情况下,用户需要登录某种社...

2016/03/21 15:57
15
4

没有更多内容

加载失败,请刷新页面

返回顶部
顶部