Pig 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Pig 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Pig 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Pig 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Pig 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache
开发语言 Java
操作系统 跨平台
软件类型 开源软件
开源组织 Apache
地区 不详
提 交 者 不详
适用人群 未知
收录时间 2008-10-27

软件简介

Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。

展开阅读全文

评论 (0)

加载中
更多评论
发表了资讯
2013/04/02 00:00

Apache Pig 0.11.1 发布,大规模数据分析

Apache Pig 0.11.1 发布了,这是个维护版本,包含很多关键的 bug 修复,详情请看 http://pig.apache.org/releases.html. Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了...

5
33
发表了资讯
2013/02/22 00:00

Apache Pig 0.11.0 发布,大规模数据分析

Apache Pig 0.11.0 发布了,该版本包含大量 bug 修复和很多新特性,例如 DateType、RANK、CUBE 和 ROLLUP 操作符,支持 Groovy UDFs,可插入式 reducer 估计逻辑,附加 UDF 特性等等。 Apache Pig 0.11.0 要求 Hadoop 0.20.X, 1.X, 0.23.X and 2.X。 Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫P...

0
16
发表了资讯
2010/12/20 00:00

Apache Pig 0.8 发布

Apache Pig发布了0.8版。 新版的主要特性包括:支持Jython的UDF,支持标量转换,自定义分区,整合MapReduce代码,嵌套描述,单元测试工具PigUnit,改进了可视化分析工具PigStats,等等。 Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列...

3
1
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2018/06/22 20:26

pig

使用 Apache Pig 处理数据 使用 Apache Pig 从大数据集中获得所需的信息 Tim 是我们最受欢迎的撰稿人之一,并且是一位多产撰稿人。浏览 developerWorks 上的 所有 Tim 的文章。查看 Tim 的个人档案 并在 developerWorks 社区中与 Tim、其他撰稿人以及开发伙伴们联系。 Hadoop 的普及和其生态系统的不断壮大并不令人感到意...

0
0
发表了博客
2018/06/15 10:28

pig简介

Apache Pig是MapReduce的一个抽象。它是一个工具/平台,用于分析较大的数据集,并将它们表示为数据流。Pig通常与 Hadoop 一起使用;我们可以使用Apache Pig在Hadoop中执行所有的数据处理操作。 要使用 Apache Pig 分析数据,程序员需要使用Pig Latin语言编写脚本。所有这些脚本都在内部转换为Map和Reduce任务。Apache Pi...

0
0
发表于云计算专区
2015/05/25 17:37

pig运行

Pig是作为客户端运行的程序,你需要将其连接到本地Hadoop或者集群上。当安装Pig之后,有三种执行pig程序的方法:pig脚本 (将程序写入.pig文件中),Grunt(运行Pig命令的交互式shell环境)和嵌入式方式。 records = Load ‘sample.txt’ as (year:chararray, temperature:int, quality:int); filter_records = FILTER r...

1
1
发表于AI & 大数据专区
2018/08/05 15:45

八、Pig

一、Pig简介和Pig的安装配置 Pig是一个用来处理大规模数据集的平台,最早是由Yahoo开发,后来给了Apache 支持语言:PigLatin 类似SQL,可已进行排序、过滤、求和、分组、关联等常用操作,还可以自定义函数,是一种...

0
0
发表于软件架构专区
2016/11/21 13:13

Pig On Tez, Pig 换 Tez 执行引擎

Tez 安装件上一篇文章: https://my.oschina.net/zhzhenqin/blog/781670 Tez On Yarn 安装成功后,是为了给 Hive 或者 Pig 提供执行引擎。 ## 安装 Pig 下载地址: http://apache.fayea.com/pig/pig-0.15.0/pig-0.15.0.tar.gz 下载后直接解压到本地目录,如果安装了 Hadoop 则可以直接使用。 Pig 默认的执行引擎是 mr,p...

0
0
发表了博客
2019/03/07 17:36

pig(数据流语言和编译器)学习https://www.w3cschool.cn/apache_pig/apache_pig_execution.html

当我们配置了hadoop集群执行的时候 可以通过命令ls进行查看 存储语法 STORE Relation_name INTO ' required_directory_path ' [USING function]; STORE student INTO ' hdfs://localhost:9000/pig_Output/ ' USING PigStorage (','); 练习 可以先写一个run.pig脚本,文件内容为下面例子的全部过程,(w3school看store 保...

0
0
发表了博客
2014/04/28 01:36

Pig笔记

1.Pig是基于hadoop的一个数据处理的框架。 MapReduce是使用java进行开发的,Pig有一套自己的数据处理语言,Pig的数据处理过程要转化为MR来运行。 2.Pig的数据处理语言是数据流方式的,类似于初中做的数学题。 3.Pig基本数据类型:int、long、float、double、chararry、bytearray 复合数据类型:Map、Tuple、Bag Bag的类型...

0
2
2018/05/03 13:26

Pig自学

企业中使用Pig作为分析,我也很心塞啊,所以,现在研读Pig中。。

0
0
发表了博客
2018/06/15 15:33

pig latin

Load运算符 你可以使用 Pig Latin 的 LOAD 运算符,从文件系统(HDFS / Local)将数据加载到Apache Pig中。 语法 load语句由两部分组成,用“=”运算符分隔。在左侧,需要提到我们想要存储数据的关系的名称;而在右侧,我们需要定义如何存储数据。下面给出了 Load 运算符的语法。 Relation_name = LOAD 'Input file pat...

0
0
发表了博客
2013/12/01 14:01

Hadoop pig

Hadoop pig

0
1
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了问答
2015/05/13 02:42

OpenStack和Hadoop分别是做什么的,谁能说的形像一点?它们需要什么编程语言基础? python\pig?

Hadoop不是有计算部分,为什么一提到云计算,总出现OpenStack这个词?

3
0
发表了问答
2014/02/19 09:14

Pig输出结果直接到Hbase里面

现在公司里有个需求,要求Pig稽核的结果直接输出到Hbase里面,请问该怎么做

2
0
发表了问答
2014/08/25 11:02

基于Hadoop的大数据架构

最近在研究Hadoop,没有做过大数据方面的东西,有谁做过基于Hadoop的大数据架构设计?看了好多基于Hadoop的工具,不知道怎样搭配,求解答。 另外@红薯 有没有什么经验没有? 然后再@OSC全体成员 懂的不懂的都来说一下呗。 么么哒!

15
0
发表了问答
2012/10/25 10:26

Google Dremel 原理 - 如何能 3 秒分析 1PB

作者: @陈利人 来自 Google 公司 简介 Dremel 是Google 的“交互式”数据分析系统。可以组建成规模上千的集群,处理PB级别的数据。MapReduce处理一个数据,需要分钟级的时间。作为MapReduce 的发起人,Google开发了Dremel将处理时间缩短到秒级,作为MapReduce的有力补充。Dremel作为Google BigQuery的report引擎,获得了...

33
202
发表了问答
2013/09/23 17:35

pig用group之后,如何对bag的数据进行排序?

加载的数据是: (3,aaa,0.0) (2,aaa,0.0) (1,aaa,0.0) (1,bbb,0.12206803207423442) (3,ccc,0.2027325540540822) (1,ccc,0.04505167867868493) (2,new,0.13515503603605478) (1,new,0.04505167867868493) (2,home,0.13515503603605478) (1,home,0.09010335735736986) (1,hello,0.12206803207423442) (1,world,0.12206803...

9
0
发表了问答
2012/12/19 22:19

如何在cloudify上面部署Hadoop,Hive,Pig等大数据处理软件

@红薯 你好,想跟你请教个问题:如何在cloudify上面部署Hadoop,Hive,Pig等大数据处理软件?网上给出的recipes无法奏效啊!谢谢了!

2
0
发表了问答
2010/07/28 13:16

用 Big Data 挖掘新的业务洞察

市场动力 最近几年中,web 和企业已经见证了数据膨胀。这一现象有很多种原因,例如,便宜的 terabyte 量级的存储硬件的商品化,随着时间的推移已接近临界规模的企业数据,以及允许轻松进行信息供应和交换的标准。 从企业的角度来说,日益增长的信息已经很难存储在标准关系型数据库甚至数据仓库中。这些问题提到了一些在实...

2
7
发表了问答
2012/03/30 18:12

使用 Apache Pig 处理数据

Apache Pig 是一个高级过程语言,适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询,Pig 可以简化 Hadoop 的使用。本文将探索 Pig 背后的语言,并在一个简单的 Hadoop 集群中发现其用途。 Hadoop 的普及和其生态系统的不断壮大并不令人感到意外。Hadoop 不断进...

2
5
发表了问答
2012/02/10 11:35

将上市公司(emar.com.cn)吸收云平台研发高级工程师

职位名称:C++资深研发工程师、高级研发工程师、研发工程师 部门:研发部(平台研发、数据分析、基础研发) 工作地点:北京 发布日期:2012-02-10 招聘类型:社会招聘 职能类别:技术类 失效日期:2012-11-08 工作年限:3年以上 学历要求:本科 岗位要求: 1. 熟悉网络编程、多线程编程技术,有大规模系统开发和设计经验...

9
2
发表了问答
2011/07/01 08:59

使用 Apache Hadoop 挖掘现有数据

Apache Hadoop 和商业智能 不管您拥有什么样的业务,理解您的客户以及他们如何与您的软件交互的重要性无论如何强调都不过分。对于创业公司或年轻公司,您需要理解什么有 效,什么无效,以便迅速重复并响应客户。这对于历史更长的公司同样适用,尽管对他们而言,调优业务或测试新理念可能更重要。无论是哪种情况,要理解您...

2
8
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
0 评论
106 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部