MapReduce

关注
MapReduce是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(化简)",和他们的主要思想,都是从函数式编程语言借来的...
加载中
1
回答
相比于hive, 现在哪些场景更多使用mapreduce编程呢?

相比于Hive,哪些场景下必须使用mr编程呢? Hive现在功能越来越完善,以后会不会替代掉mr?

2017/09/07 16:03
1
回答
mapreduce 怎么读取 hdfs 上的zip包文件

mapreduce 怎么读取 hdfs 上的zip包文件

2017/09/14 15:26
1
回答
Hive UDF函数报错UDFArgumentException: The UDF implementation class 'xxxxx' is not present inthe class path

这两天遇到了一个比较诡异的问题,就是编辑Hive的UDF函数,并提交需要执行MapReduce的SQL后,提示报错 org.apache.hadoop.h...

2017/07/13 21:04
1
回答
写MapReduce把HDFS的数据导入Hbase,打包后程序怎么执行?
进击的巨喵 的回答 2017/06/14 11:33
最佳答案
在hadoop-env.sh添加: export HADOOP_CLASSPATH=$HBASE_HOME/lib/*:classpath
7
回答
求救:MapReduce程序没输出日志

1. 服务器上:hadoop-2.3.0-cdh5.1.3 、centos 本地eclipse远程连接的hadoop,运行mapreduce程序成功,但是...

2014/11/20 15:42
4
回答
怎么才能学好hadoop,我给6点建议

从08年的云计算到现在的大数据,还只会搭建hadoop环境的小朋友,我就不说什么了。没有接触过hadoop的同学,也不必迷茫。 现在各大公司的要求,普遍需...

2017/04/10 16:56
2
回答
想学好hadoop大数据,你要知道这6点

从08年的云计算到现在的大数据,还只会搭建hadoop环境的小朋友,我就不说什么了。没有接触过hadoop的同学,也不必迷茫。 现在各大公司的要求,普遍需...

2017/03/23 16:18
4
回答
用Sqoop,hdfs导入都mysql时候执行MR时候报错了

sqoop export --connect jdbc:mysql://crxy2:3306/test --username root --passwor...

2015/12/02 19:22
1
回答
关于MapReduce输入输出的问题

使用MapReduce对Hbase进行读写,其中map方法一次只能读取一行记录,而且貌似也只能输出一行记录,然而我需要根据这一行记录做一些处理,然后输出多...

2017/02/14 08:57
1
回答
hadoop2.6.0 CDH环境5.7.2 任务的问题

只同时运行了8个我想同时运行 多个怎么修改参数啊? 我改了好些参数都没有反应

2016/10/27 19:20
2
回答
mrjob 在hdfs上跑

是这样的,我照着网上的教程写好了一个用mrjob模块的mapreduce的python程序,名字叫word.py 在我的hdfs上 /test/bible...

2015/12/30 22:55
1
回答
Hadoop怎么处理图像数据

我想在Hadoop集群上处理一些图像(例如TIFF、bmp等等),我用的Hadoop2.7.2在Ubuntu14.04系统上。 第一:处理图像的输入输出类...

2016/09/26 10:43
2
回答
java操作mapreduce出现权限问题

2016-08-29 21:41:30,542 WARN [main] util.NativeCodeLoader (NativeCodeLoader.j...

2016/08/29 21:54
1
回答
mapreduce小文件合并问题(spark)
bigtk 的回答 2016/06/01 07:53
最佳答案
当然可以
4
回答
MapReduce 编程模型在日志分析方面的应用

简介 日志分析往往是商业智能的基础,而日益增长的日志信息条目使得大规模数据处理平台的出现成为必然。MapReduce 处理数据的有效性为日志分析提供了可靠...

2011/05/06 08:02
1
回答
在用MapReduce操作HBase表时,表内出现了乱码

小弟我做个简单的搜索引擎,用HBase数据库存放网页内容,但是当把网页内容提取出来进行分析时总是没有输出,因此我就直接把数据不分析直接输出到另外一个表中,...

2013/03/25 14:20
2
回答
运行MapReduce程序时报错,请大仙指教

运行MapReduce程序时报错: TaskID:attempt_20150111011 stauts:failed, connot be cast to...

2016/01/19 09:35
1
回答
关于M\P提交任务,在web下提交job

我需要在web应用可启动停止一个定时任务,任务中提交一个job到mapreduce上运行,反馈结果 结果运行起来后一直报一下错误 后来我把依赖jar上传到...

2016/01/19 10:33
1
回答
[求助] 关于eclipse中运行mapreduce不是在hadoop集群环境运行而是在本地运行的问题

1.我用eclipse远程连接linux上的hadoop集群,跑Mapreduce程序都可以顺利完成,结果在集群里也可以看得到。 但是,跑程序的时候,我去...

2014/11/28 00:11
1
回答
hadoop分析数据丢失

最近发现hadoop的mapreduce程序会丢数据,不知道是什么原因,请教各位: hadoop环境,通过mapreduce程序分析hdfs上的数据,一天...

2015/07/20 10:30

没有更多内容

加载失败,请刷新页面

返回顶部
顶部