Greenplum DB 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Greenplum DB 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Greenplum DB 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Greenplum DB 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Greenplum DB 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache
操作系统 Linux
软件类型 开源软件
开源组织 Pivotal
地区 不详
投 递 者 红薯
适用人群 未知
收录时间 2011-10-11

软件简介

Greenplum 之前属于Pivotal,是一家总部位于美国加利福尼亚州,为全球大型企业用户提供新型企业级数据仓库(EDW)、企业级数据云(EDC)和商务智能(BI)提供解决方案和咨询服务的公司。目前 Greenplum 已经归属 VMware。

Greenplum 数据库 (gpdb)号称是世界上第一个开源的大规模并行数据仓库,2019年,Greenplum被Gartner评为全球排名第三的分析型数据库和排名第四的实时分析数据库。

Greenplum基于MPP(大规模并行处理)架构,最初是基于 PostgreSQL,现在已经添加了大量数据库方面的创新。Greenplum 提供 PB 级别数据量的强大和快速分析能力,特别是面向大数据方面的分析能力,支持大数据的超高性能分析查询。Greenplum内置并行存储、并行通讯、并行计算和优化技术,支持持扩展(Extension)、自定义类型和函数、PXF和外部表技术。

Greenplum 主要特性:

  • 大规模并行处理架构

  • 高性能加载,使用 MPP 技术,提供 Petabyte 级别数据量的加载性能

  • 大数据工作流查询优化

  • 多态数据存储和执行

  • 支持多种数据格式,包括结构化、半结构化(XML、JSON、KV)和非结构化(文本数据、GIS数据、图数据等)

  • 支持SQL、JDBC和ODBC等行业标准

  • 支持商业智能(BI)、文本、GIS、图像、流式数据处理等

  • 基于 Apache MADLib 的高级机器学习功能

  • HTAP能力,支持涵盖OLTP型业务的混合负载

Greenplum 采用 Apache 协议开源之后,加上之前的 HAWQPostgreSQL 以及 PostGIS,完全可以构建一体化的 PostgreSQL 企业数据架构。

Greenplum的架构采用了MPP(大规模并行处理)。在 MPP 系统中,每个 SMP 节点也可以运行自己的操作系统、数据库等。换言之,每个节点内的 CPU 不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的,这个过程一般称为数据重分配(Data Redistribution) 。与传统的SMP架构明显不同,通常情况下,MPP系统因为要在不同处理单元之间传送信息,所以它的效率要比SMP要差一点,但是这也不是绝对的,因为 MPP系统不共享资源,因此对它而言,资源比SMP要多,当需要处理的事务达到一定规模时,MPP的效率要比SMP好。这就是看通信时间占用计算时间的比例而定,如果通信时间比较多,那MPP系统就不占优势了,相反,如果通信时间比较少,那MPP系统可以充分发挥资源的优势,达到高效率。当前使用的 OTLP程序中,用户访问一个中心数据库,如果采用SMP系统结构,它的效率要比采用MPP结构要快得多。而MPP系统在决策支持和数据挖掘方面显示了优势,可以这样说,如果操作相互之间没有什么关系,处理单元之间需要进行的通信比较少,那采用MPP系统就要好,相反就不合适了。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (5)

加载中
一直在对比Greenplum和vertica。单纯从处理性能上看,两者谁有优势?另外,veritca有个对接Kafka的组件,可以实现Kafka数据的高速落地,Greenplum有类似的功能吗?
2018/08/22 16:08
回复
举报
Greenplum中文社区Greenplum中文社区  
可以看看gpkafka
2020/10/13 14:13
回复
举报
求告知在官网登录后无法下载gpdb安装包,应该怎么做。
2018/05/18 15:00
回复
举报
并发和并行处理是两个概念,不要乱写
2017/04/13 14:44
回复
举报
语言错了吧,应该是C++吧,@红薯 #Greenplum DB#
2015/10/28 23:50
回复
举报
更多评论
06/09 15:27

Greenplum 关键组件版本更新:GPSS 1.6.0 和 GPCC 6.5 已发布

Greenplum商业版具有众多扩展组件来帮助用户更便捷的使用Greenplum,其中Greenplum监控管理平台GPCC和数据加载解决方案GPSS均是其中关键组件之一,在过去的一个月中,GPSS和GPCC均进行了版本更新,现在让我们带大家了解一下,新版本的GPSS和GPCC都带来了哪些新功能。 GPSS (Greenplum stream server) 1.6.0 发布 GPSS 1.6.0已于5日28日正式发布。Greenplum Stream Server(简称GPSS)是Greenplum下一代数据加载解决方案,能将不...

0
2
04/12 13:33

Greenplum HTAP 技术入选国际数据库顶尖会议 SIGMOD

ACM SIGMOD数据管理国际会议是由美国计算机协会(ACM) 数据管理专业委员会(SIGMOD)发起、在数据库领域具有最高学术地位的国际性学术会议。 SIGMOD和另外两大数据库会议VLDB、ICDE构成了数据库领域的三个顶级会议,其论文录取率是很低的,平均录取率大约仅为15%-17%。 上次SIGMOD在中国举行还是2007年的北京,时隔14年,SIGMOD 2021将于烟花六月(6月20日)再次来到中国,走进古城西安。而本次会议中,Greenplum数据库内核团队的论...

2
3
01/21 11:18

Greenplum 6.13.0 发布,大数据平台

Greenplum 6.0自正式版发布以来,Greenplum保持每月一个小版本的迭代速率,持续为用户提供新功能和修复补丁,目前的最新版6.13.0。每个季度定期推送的青梅资讯系列中,小编将带你回顾Greenplum的新版本中的新特性和修复补丁信息。现在让我们来了解一下6.11到6.13版本中,Greenplum又带来了哪些惊喜。 青梅资讯 Greenplum 6.13.0于2020年12月18日发布,累积更新的新功能和bug修复信息如下: Greenplum 6.13.0 新增功能 - 内置了全...

2
13
2020/11/27 18:39

Greenplum 一体机硬件配置正式开源

2015年,Greenplum数据库宣布开源。如今,DELL将Greenplum数据库一体机的硬件配置也开放给了Greenplum社区。Greenplum成为了全球首个MPP数据仓库的软件和硬件同时开源的平台。我们坚信开放是未来的趋势。 在过去的两年中,Greenplum团队持续地帮助客户设计、测试高级通用硬件平台。我们与戴尔OEM合作,通过专用存储设备、高速互连网络、计算和存储配置组合等,为Greenplum客户提供高性能Greenplum数据仓库一体机。 Dell PowerEd...

3
16
2020/09/25 11:32

【重磅】Greenplum 内核升级至 PostgreSQL 12,众多新特性惊喜不断

Greenplum 基于 PostgreSQL,但针对大数据的场景和用户对性能的极致追求开发了大量的特性和做了极致甚至苛刻的优化。此外,Greenplum紧密拥抱Postgres社区,以敏捷的方式快速升级Postgres内核。 2005年研发之初,Greenplum的内核版本是PostgreSQL 8,在2017年发布的Greenplum 5之前一直是PostgreSQL 8.2版本。2015年Greenplum完成了开源,启动内核升级的项目,并在近几年逐步完成了8.3、9.0、9.1、9.2、9.3、9.4、9.5和9.6版本的...

5
12
2020/09/17 14:21

大数据平台 Greenplum 6.10 已发布

自Greenplum 6.0正式发布以来,Greenplum保持了每月一个小版本的快速迭代速度,持续为用户提供新功能与修复补丁。最新版本6.10已于8月10日发布。现在小编带你回顾一下6.8到6.10版本中,Greenplum都带来了哪些惊喜。 新特性汇总 Greenplum 6.10.1 修复bug列表 修复了interconnect代理的bug,可以启动interconnect代理功能。 修复外表 DELIMITER为'OFF',会把'O'也当成分隔符的问题。 Greenplum 6.10.0 新增功能 - 支持了新的int...

0
20
发表于开发技能专区
2019/09/04 15:41

Greenplum 6.0 发布,重大版本更新,PG 版本升级至 9.4

今天GreenplumDB 6.0的正式版本已经发布。 GreenplumDB 6包含了大量的新功能,包括将核心Postgres版本从8.3升级到9.4、复制表、并发更新和删除HEAP表时大幅度性能优化、使用zStandard算法更快更高效地进行数据压缩、磁盘配额、JSONB数据类型、支持GIN的文本和JSON索引、列级安全性、查询优化和执行的改进等等。 更新列表非常长,具体内容请参见Greenplum 从v5到v6的变更。...

5
12
发表于服务端专区
2018/11/11 11:40

Pivotal Greenplum 5.13、4.3.30.3、0.6.0 发布

11月初,Pivotal 对旗下的 Greenplum 产品线进行了多版本更新,修复了一些已知 bug,让软件使用更顺畅。 新发布的版本分别为(点击链接查看release note): 基于开源版本的 5.x 版本更新:Pivotal Greenplum 5.13 未开源 4.3 版本更新:Pivotal Greenplum 4.3.30.3 上云版本:Pivotal Greenplum for Kubernetes 0.6.0 Greenplum DB 号称是世界上第一个开源的大规模并行数据仓库,最初是基于 PostgreSQL,现在已经添加了大量数据...

1
7
发表了资讯
2016/03/31 00:00

GreenPlum Database 4.3.8.0 版本发布

GreenPlum Database 4.3.8.0 版本发布了,主要包含如下几个方面的改进: 产品增强: Greenplum Database 4.3.8.0 includes these enhancements. •External Table Support for Amazon S3 Data Source •gpcrondump Utility Enhancement •gpdbrestore Utility Enhancements •Pivotal Query Optimizer Enhancements 改变的特性: Greenplum Database 4.3.8.0 includes these changes. •For the Greenplum Database gpcrondump...

1
12
发表了资讯
2015/10/30 00:00

李元佳:漫谈 Greenplum 开源背后的动机

作者:李元佳 转载自微信号:Postgres 这几天最大的消息莫过于 Greenplum 的开源,年初开始 Pivotal 就宣布了 greenplum 的开源,经过大半年的翘首等待,终于在十月底在欧洲的 Postgres 大会宣布开源,并兑现在 Github 上开放代码(https://github.com/greenplum-db/gpdb ),社区的官网为 http://greenplum.org/, 其官方博客也有提到相关事项。代码是采用 Apache 许可,今天已经有社区的朋友尝鲜从社区取下代码,在 Greenplu...

20
32
发表了资讯
2015/10/28 00:00

Greenplum 以 Apache 协议开源,已托管 GitHub

Greenplum DB 采用 Apache 协议开源,并且已经把代码托管到 GitHub: https://github.com/greenplum-db/gpdb Greenplum DB 号称是世界上第一个开源的大规模并行数据仓库,最初是基于 PostgreSQL,现在已经添加了大量数据库方面的创新。Greenplum 提供 PD 级别数据量的强大和快速分析能力,特别是面向大数据方面的分析能力,支持大数据的超高性能分析查询。 GreenPlum 主要特性: 大规模并行处理架构 高性能加载,使用 MPP 技术,...

16
49
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2018/10/19 20:14

greenplum

参考文章:在linux系统上安装Greenplum数据库 https://blog.csdn.net/mingli_a/article/details/78779189 Greenplum安装步骤 https://blog.csdn.net/u013181216/article/details/72605362 Greenplum安装 https://www.cnblogs.com/renlipeng/p/5685432.html 1. 下载地址:https://network.pivotal.io/products/pivotal-gpdb#/releases/204067/file_groups/1160 greenplum 需要注意下载的版本所依赖的系统。 greenplum需要注册账号...

0
0
2014/10/11 15:21

GreenPlum安装

1 下载Greenplum发行版 unzip greenplum-db-XXX.zip 2 修改配置 master:  主机名修改为gp_master 修改/etc/hosts 127.0.0.1               localhost.localdomain localhost XXX.XXX.XXX.XXX         gp_master /etc/sysconfig/network NETWORKING=yes NETWORKING_IPV6=no   #HOSTNAME=localhost.localdomain HOSTNAME=gp_master segment: 主机名修改为gp_segment 修改/etc/hosts 127.0.0.1             ...

0
4
发表了博客
2020/09/10 09:06

Greenplum安全

目录 Greenplum安全 身份认证 pg_hba.conf配置连接类型 pg_hba.conf配置连接数据库 pg_hba.conf配置连接用户 pg_hba.conf配置连接网络地址 pg_hba.conf配置用户的认证方法 Greenplum安全 身份认证 1、Handles the user anthentication 2、The file is located in $MASTER_DATA_DIRECTORY 3、Comments are ignored 4、File is read line by line 5、First matching line is used 6、All subsequent lines are ignored...

0
0
2015/08/04 15:51

Greenplum的安装

Geenplum是一款基于postgresql开发的mpp数据库,适合于数据仓库数据存储,是对hadoop无法有效处理结构化数据的一个很好的补充。五年前曾经使用过greenplum,那时的版本还是3.6,现在已经更新到4.3.5了,有消息称今年将开源。和以前的相比,安装方式也有了一些小变化,简记如下,如要更详细的说明,还是得看官方文档。 一、测试环境 CentOS 6.5 8台虚机 Greenplum 4.3.5 二、环境准备 1.修改系统参数 编辑 /etc/sysctl.conf ,以...

7
25
发表了博客
2020/08/12 09:34

Greenplum安装

Greenplum安装 评估存储能力 计算可用的空间 步骤1:初始存储能力=硬盘大小*硬盘数 步骤2:配置RAID10,格式化磁盘空间=(初始存储能力*0.9)/2 步骤3:可用磁盘空间=格式化磁盘空间*0.7 步骤4:用户数据使用空间 使用镜像:(2*用户数据)+用户数据/3=可用磁盘空间 不使用镜像:用户数据+用户数据/3=可用磁盘空间 计算用户数据大小 平均来说,实际占用磁盘空间大小=用户数据*1.4 页面开销:32KB页面需要20 bytes 行开销:每行24 by...

0
0
发表了博客
2018/11/10 22:52

Greenplum扩容

Greenplum支持原有主机扩展Segment个数、新增主机、和混合扩展 本文以在已有机器上扩展节点为例 1、可按照hostname:address:port:fselocation:dbid:content:preferred_role:replication_port来配置扩展文件 [gpadmin@hadoop-test1 conf]# vi /home/sdk/gpadmin/conf/new_segments #hostname:address:port:fselocation:dbid:content:preferred_role:replication_port hadoop-test2:hadoop-test2:31000:/home/sdk/gpadmin/gpdat...

0
1
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了问答
2015/09/24 13:08

Greenplum分布式数据库开发入门到精通教程

私密教程Greenplum分布式数据库开发入门到精通教程-有需要的可以留下邮箱

283
4
发表于开发技能专区
2019/08/16 13:30

Docker启动GPDB

@哓竹 你好,想跟你请教个问题:请问成功启动GP后,关闭容器后再如何在此启动这个GP数据库?

3
0
2018/11/29 09:50

GP数据库配置

@AmCoder 你好,想跟你请教个问题:您好,我参考您的关于greenplum那些事一文在Centos7-x86_64-dvd-1511和greenplum-db-5.8.0-rhel7-x86_64环境下配置gp时,执行到初始化数据库的Gpssh -f hostlist时出现ImportError:找不到site模块,修复后又出现找不到time模块错误。想请教您是否也遇到这样的问题,是如何解决的。烦请指教,谢谢啦。如果没有,请问您用的是什么环境配置的...

2
0
发表了问答
2016/07/18 13:33

greenplum初始化失败,Failed to start segment instance database sdwXX

我在安装Greenplum的时候初始化遇到问题,一直不能初始化成功,不知道是哪里出了问题。我之前在win虚拟机上安装过一次,使用的是桥接模式,当时不能初始化成功,网上有人说要添加DNS我就添加了,之后成功了。现在我使用的是云服务器,也是按照之前的方法安装的,但是一直不能初始化成功,不知道问题出在哪里,DNS是默认的,没有修改。先贴上日志,请大声帮忙看看 20160717:18:34:05:022913 gpinitsystem:mdw:gpadmin-[INFO]:-Bu...

2
0
发表了问答
2016/11/25 15:53

请问开源版本的是不是有什么限制?

我们打算用Greenplum开业版本的,我听人说 有单表6亿的限制,不知道是真的么?

3
0
发表了问答
2016/10/12 15:28

Greenplum初始化遇到问题,跪求指导

在搭建greenplum,初始化的时候遇到 gpadmin-[FATAL]:-Errors generated from parallel processes 查看gpinitsystem_20161012.log文件找到如下错误原因: [FATAL][0]:-Failed Update port number to 40000 在网上查了解决方法,基本上是这样做的: (1)安装依赖包ed: yum install -y ed (2)清除初始化系统信息: rm -rf /home/gpadmin/gpAdminLogs/* (3)杀掉起来的greenplum进程:pkill postgres (4)删除各个机器的gp数...

1
0
发表了问答
2015/10/13 10:30

请发一个greenplum的版本

@kenyon_君羊 你好,想跟你请教个问题: greenplum 本人初学, 想试一下这个功能。 但没找到下载的方法。请您发一下或者指点一下如何下载。本人qq: 570091044.

4
0
发表了问答
2016/03/23 12:54

greenplum备份表结构错误求解

今天备份GP一个现场表结构的时候,出现一个新问题,导致表结构无法备份,有没有了解的朋友帮助解答一下或者顺一下思路。 备份语句:pg_dump -s -f xxx_str_20160323.sql xxx 报错日志:pg_dump: Got 0 rows instead of one from: SELECT proretset, prosrc, probin, proallargtypes, proargmodes, proargnames, provolatile, proisstrict, prosecdef, (SELECT lanname FROM pg_catalog.pg_language WHERE oid = prolang) as lan...

1
0
发表了问答
2015/11/23 09:16

请问怎样在GreenPlum中编译使用PostGIS呢?

在github上下载的源代码,DB和gpfdist编译好了,postgis却不会编译,有哪位大牛编译成功了?谢谢

5
0
发表了问答
2014/01/19 12:32

POSTGRES-XC和GREENPLUM架构在OLTP上比较

GREENPLUM这二年,风头很盛,全球很多需要大数据交易处理的,几乎都很快都采用GREENPLUM方案, 比如国外的纳斯达克、纽交所、EBAY等,国内的中信银行、东方航空、淘宝、华泰保险等都在用。 其原因是GREENPLUM采用了MPP的无共享方式,不像ORACLE的RAC,属于共享方式,导致海量数据时,产生瓶颈,性能不佳。很多测试报告都表明,GREENPLUM在处理海量数据是ORACLE的RAC好几倍,甚至几十倍, 随服务器节点数量增加,而线性增长。 GR...

2
1
发表了问答
2011/11/07 13:06

Greenplum高性能数据引擎探秘

【51CTO独家特稿】Greenplum数据引擎是为新一代数据仓库和大规模分析处理而建立的软件解决方案。其最大的特点是不需要高端的硬件支持仍然可以支撑大规模的高性能数据仓库和商业智能查询。在数据仓库、商业智能的应用上,尤其海量数据的处理方面性能极其优异。 高性能的大规模数据处理能力是DBA对数据库梦寐以求的能力之一。从字面上不难看出,“高性能的大规模数据处理能力”中,一方面是针对“大规模的数据”,另一方面就是“数...

1
6
发表了问答
2014/02/20 13:56

Greenplum Hadoop视频教程下载

请问目前网上哪里可以下载到完整的Greenplum Hadoop视频教程?零基础入门的,最好是能带案例的。发现资料真的很少啊

10
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
5 评论
209 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部