大规模并行处理系统 Greenplum DB

大规模并行处理系统 Greenplum DB

Apache
C/C++
跨平台
Pivotal
2011-10-11
红薯

Greenplum 之前是一家总部位于美国加利福尼亚州,为全球大型企业用户提供新型企业级数据仓库(EDW)、企业级数据云(EDC)和商务智能(BI)提供解决方案和咨询服务的公司。目前 Greenplum 已经归属 Pivotal。

Greenplum DB 号称是世界上第一个开源的大规模并行数据仓库,最初是基于 PostgreSQL,现在已经添加了大量数据库方面的创新。Greenplum 提供 PD 级别数据量的强大和快速分析能力,特别是面向大数据方面的分析能力,支持大数据的超高性能分析查询。

GreenPlum 主要特性:

  • 大规模并行处理架构

  • 高性能加载,使用 MPP 技术,提供 Petabyte 级别数据量的加载性能

  • 大数据工作流查询优化

  • 多态数据存储和执行

  • 基于 Apache MADLib 的高级机器学习功能

Greenplum 采用 Apache 协议开源之后,加上之前的 HAWQPostgreSQL 以及 PostGIS,完全可以构建一体化的 PostgreSQL 企业数据架构。

Greenplum的架构采用了MPP(大规模并行处理)。在 MPP 系统中,每个 SMP 节点也可以运行自己的操作系统、数据库等。换言之,每个节点内的 CPU 不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的,这个过程一般称为数据重分配(Data Redistribution) 。与传统的SMP架构明显不同,通常情况下,MPP系统因为要在不同处理单元之间传送信息,所以它的效率要比SMP要差一点,但是这也不是绝对的,因为 MPP系统不共享资源,因此对它而言,资源比SMP要多,当需要处理的事务达到一定规模时,MPP的效率要比SMP好。这就是看通信时间占用计算时间的比例而定,如果通信时间比较多,那MPP系统就不占优势了,相反,如果通信时间比较少,那MPP系统可以充分发挥资源的优势,达到高效率。当前使用的 OTLP程序中,用户访问一个中心数据库,如果采用SMP系统结构,它的效率要比采用MPP结构要快得多。而MPP系统在决策支持和数据挖掘方面显示了优势,可以这样说,如果操作相互之间没有什么关系,处理单元之间需要进行的通信比较少,那采用MPP系统就要好,相反就不合适了。

加载中

评论(4)

c
cuiw
一直在对比Greenplum和vertica。单纯从处理性能上看,两者谁有优势?另外,veritca有个对接Kafka的组件,可以实现Kafka数据的高速落地,Greenplum有类似的功能吗?
h
hasdfhdfkl
求告知在官网登录后无法下载gpdb安装包,应该怎么做。
myto2006
myto2006
并发和并行处理是两个概念,不要乱写
zmyer
zmyer
语言错了吧,应该是C++吧,@红薯 #Greenplum DB#

Pivotal Greenplum 5.13、4.3.30.3、0.6.0 发布

11月初,Pivotal 对旗下的 Greenplum 产品线进行了多版本更新,修复了一些已知 bug,让软件使用更顺畅。 新发布的版本分别为(点击链接查看release note): 基于开源版本的 5.x 版本更新:P...

2018/11/11 11:40

GreenPlum Database 4.3.8.0 版本发布

GreenPlum Database 4.3.8.0 版本发布了,主要包含如下几个方面的改进: 产品增强: Greenplum Database 4.3.8.0 includes these enhancements. •External Table Support for Amazon S3 Da...

2016/03/31 21:50

李元佳:漫谈 Greenplum 开源背后的动机

作者:李元佳 转载自微信号:Postgres 这几天最大的消息莫过于 Greenplum 的开源,年初开始 Pivotal 就宣布了 greenplum 的开源,经过大半年的翘首等待,终于在十月底在欧洲的 Postgres 大会...

2015/10/30 08:56

Greenplum 以 Apache 协议开源,已托管 GitHub

Greenplum DB 采用 Apache 协议开源,并且已经把代码托管到 GitHub: https://github.com/greenplum-db/gpdb Greenplum DB 号称是世界上第一个开源的大规模并行数据仓库,最初是基于 Postgr...

2015/10/28 14:27

没有更多内容

加载失败,请刷新页面

没有更多内容

259
回答
Greenplum分布式数据库开发入门到精通教程

私密教程Greenplum分布式数据库开发入门到精通教程-有需要的可以留下邮箱

2015/09/24 13:08
1
回答
GP数据库配置

@AmCoder 你好,想跟你请教个问题:您好,我参考您的关于greenplum那些事一文在Centos7-x86_64-dvd-1511和greenpl...

2018/11/29 09:50
2
回答
greenplum初始化失败,Failed to start segment instance database sdwXX

我在安装Greenplum的时候初始化遇到问题,一直不能初始化成功,不知道是哪里出了问题。我之前在win虚拟机上安装过一次,使用的是桥接模式,当时不能初始...

2016/07/18 13:33
3
回答
请问开源版本的是不是有什么限制?

我们打算用Greenplum开业版本的,我听人说 有单表6亿的限制,不知道是真的么?

2016/11/25 15:53
1
回答
Greenplum初始化遇到问题,跪求指导

在搭建greenplum,初始化的时候遇到 gpadmin-[FATAL]:-Errors generated from parallel process...

2016/10/12 15:28
3
回答
请发一个greenplum的版本

@kenyon_君羊 你好,想跟你请教个问题: greenplum 本人初学, 想试一下这个功能。 但没找到下载的方法。请您发一下或者指点一下如何下载。本...

2015/10/13 10:30
1
回答
greenplum备份表结构错误求解
闻术苑 的回答 2016/03/30 16:14
最佳答案
这个问题最终我自己解决了,具体的方法如下: 1.我先用语句查了一下这个id所代表的对象,发现是一个叫inc_tf_ipadd_pool_vol_hour的存储过程导致的: 2.虽然4752124这个id可以从上图看到,但是用这个id作为条件去查,是查不到结果的;但是正常的对象是可以查到结果的,...
2
回答
请问怎样在GreenPlum中编译使用PostGIS呢?

在github上下载的源代码,DB和gpfdist编译好了,postgis却不会编译,有哪位大牛编译成功了?谢谢

2015/11/23 09:16
2
回答
POSTGRES-XC和GREENPLUM架构在OLTP上比较

GREENPLUM这二年,风头很盛,全球很多需要大数据交易处理的,几乎都很快都采用GREENPLUM方案, 比如国外的纳斯达克、纽交所、EBAY等,国内的...

2014/01/19 12:32
1
回答
Greenplum高性能数据引擎探秘

【51CTO独家特稿】Greenplum数据引擎是为新一代数据仓库和大规模分析处理而建立的软件解决方案。其最大的特点是不需要高端的硬件支持仍然可以支撑大规...

2011/11/07 13:06

没有更多内容

加载失败,请刷新页面

greenplum4单机单节点本地安装Installing a Single-Node Greenplum Database Instance

Installing a Single-Node Greenplum Database Instance 一.Add the Greenplum Database Administrative User Account.You cannot run the Greenplum Database server as root. For a prod...

2015/03/11 22:05
74
0
数据运营者的福音:海量数据处理利器Greenplum

前言:近年来,互联网的快速发展积累了海量大数据,而在这些大数据的处理上,不同技术栈所具备的性能也有所不同,如何快速有效地处理这些庞大的数据仓,成为很多运营者为之苦恼的问题!随着G...

2018/09/19 19:09
31
0
【干货】在docker中安装配置Greenplum集群的过程

—— 原文发布于本人的微信公众号“大数据与人工智能Lab”(BigdataAILab),欢迎关注。 Greenplum是一个MPP(海量并行处理)计算框架的分布式数据库,其数据库引擎层是基于著名的Postgresq...

2018/01/12 23:42
1K
2
Greeplum 在centos上部署安装

Greeplum安装过程(centos) 一、安装说明 1. 最少准备3台机器(或虚拟机),单台机器设置多个网卡的方式也可以,不过我没有实际操作过; 2.3台centos在6.5以上,配置>1Cpu,内存>=2G,磁盘空间>...

2016/09/07 11:03
445
0
Linux系统中搭建Greenplum

一、安装前准备 1、集群机器的分配 机器分配为1主3从: 10.xx.xx.160 gp-master gp-master 10.xx.xx.161 gp-sdw1 gp-sdw1 10.xx.xx.162 gp-sdw2 gp-sdw2 10.xx.xx.163 gp-sdw3 gp-sdw3 2、下...

01/17 16:07
0
0
关于Greenplum的那点事儿

Greenplum是什么鬼?干啥用的?能吃吗? 下面是来自官网的一段英文: 大概翻译一下: Greenplum Database是一个大规模并行处理(MPP)数据库服务器,其架构专门用于管理大规模分析数据仓库和...

2018/09/28 10:02
1K
1
GreenPlum简单性能测试与分析--续

版权声明:本文由黄辉原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/259 来源:腾云阁 https://www.qcloud.com/community 之前对GreenPlum与Mysql进行...

2016/12/12 18:59
58
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部