Pinot 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Pinot 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Pinot 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
开发语言 Java
操作系统 跨平台
软件类型 开源软件
所属分类 企业应用BI商业智能
开源组织 LinkedIn
地区 不详
投 递 者 红薯
适用人群 未知
收录时间 2015-06-12

软件简介

Pinot 是一个实时分布式的 OLAP 数据存储和分析系统。LinkedIn 使用它实现低延迟可伸缩的实时分析。Pinot 从离线数据源(包括 Hadoop 和各类文件)和在线数据源(如 Kafka)中攫取数据进行分析。Pinot 被设计是可以进行水平扩展的。

Pinot 特别适合这样的数据分析场景:分析模型固定,数据只追加以及低延迟,以及分析结果可查询。

关键特性:

  • 面向列的数据库,提供多种压缩模式,如运行长度、固定比特长度

  • 可插入式的索引技术,包括可排序索引、Bitmap 索引和反向索引

  • 可根据查询和段元数据对查询和执行进行优化

  • 近乎实时的从 Kafka 获取数据,以及批量从 Hadoop 获取数据

  • 类 SQL 的语言支持查询、聚合、过滤、分组、排序和去重

  • 支持多值字段

  • 水平伸缩以及容错

Pinot 非常使用用来查询时许数据以及大维度的数组。

Pinot 的组件架构:

Pinot 核心概念:

示例查询:

/*Total number of documents in the table*/
select count(*) from baseballStats limit 0

/*Top 5 run scorers of all time*/ 
select sum('runs') from baseballStats group by playerName top 5 limit 0

/*Top 5 run scorers of the year 2000*/
select sum('runs') from baseballStats where yearID=2000 group by playerName top 5 limit 0

/*Top 10 run scorers after 2000*/
select sum('runs') from baseballStats where yearID>=2000 group by playerName limit 0

/*Select playerName,runs,homeRuns for 10 records from the table and order them by yearID*/
select playerName,runs,homeRuns from baseballStats order by yearID limit 1
展开阅读全文

代码

评论 (0)

加载中
更多评论
2021/08/04 08:19

Apache Pinot 成为 ASF 顶级项目

Apache 软件基金会宣布 Apache Pinot 成为顶级项目(Top-Level Project,TLP) Apache Pinot 是一个分布式大数据分析基础设施,旨在以高吞吐量和低延迟提供可扩展的实时分析。该项目于 2013 年首次在 LinkedIn 创建,于 2015 年开源,并于 2018 年 10 月进入 Apache 孵化器。Amazon-Eero、Doordash、Factual/FourSquare、LinkedIn、Stripe、Uber、Walmart、微博和 WePay 等公司均有所应用。 根据描述,Apache Pinot 的在线分析处...

4
13
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
2020/04/17 10:30

Linkedin TonY

背景说明:TensorFlowOnYARN开源时间较早,目前作者已经停止维护,业内推荐TonY系统; 安装环境:Centos 7.0或以上,物理机,Python-2.7.5虚拟环境(默认),tensorflow-1.13.1; 下载地址:https://github.com/linkedin/TonY,git clone https://github.com/linkedin/TonY.git; 组件安装:apt-get update,apt-get install wget,apt-get install vim,apt-get install git,上传jdk,编辑.bashrc配置java环境; 代码编译:./g...

0
0
发表于DevOps专区
2014/02/14 16:57

about LinkedIn glu

最近在预研自动化部署方面的可行性,计划从开源框架中先熟悉一下其他公司是如何实现,偶然发现了GLU,尝试搭建了一下,安装过程中出现了一些问题,作为备忘记录如下: 一、安装环境 os:Solaris 10 5/08 s10x_u5wos_10 X86 bash:GNU bash, version 4.2.0(1)-release (i386-pc-solaris2.10) JDK:java version "1.6.0_43" 二、安装过程与问题解决 1)解压文件 tar -xvf org.linkedin.glu.packaging-all-4.7.1.tar 错误信息: x ...

0
1
发表了博客
2019/04/25 05:56

LinkedIn TAG

1 [leetcode]243. Shortest Word Distance最短单词距离 Two Pointers 2 [leetcode]244. Shortest Word Distance II最短单词距离(允许连环call) HashMap+Merge Sort 3 [leetcode]245. Shortest Word Distance III最短单词距离(word1可能等于word2) Two Pointers 4 [leetcode]15. 3Sum三数之和 Two Pointers(left&right) 5 [leetcode]611. Valid Triangle Number有效三角数 Two Pointers(left&right) 6 [leetcode]76. Minimum Win...

0
0
发表于AI & 大数据专区
2017/03/29 17:30

LinkedIn kafka-monitor

介绍 最近一直在寻找合适的kafka监控软件,希望该软件既有kafka管理功能,又有kafka监控功能,目前流行的kafka manager在管理方面还凑活,但是监控方面做得不是很好,比如单个topic的消息出入速率,消费者的消费延迟等等,看到kafka的开山鼻祖开源了一个kafka-monitor项目,听,名字上有monitor,赶紧来调研一下,其实是个渣渣 框架 ps:关于kafka-monitor这个软件在网上搜一下,都是千篇一律的翻译官网,并没有实战文章,原理大...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了问答
2015/10/14 10:57

有没有人使用Pinot ,部署过一个成功项目

有没有人使用Pinot ,部署过一个成功项目有没有人使用Pinot ,部署过一个成功项目 使用在公司的生产上@红薯

2
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
0 评论
158 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部