发表了问答
2016/01/19 10:33

关于M\P提交任务,在web下提交job

我需要在web应用可启动停止一个定时任务,任务中提交一个job到mapreduce上运行,反馈结果 结果运行起来后一直报一下错误 后来我把依赖jar上传到hdfs中,执行就可以了,但是老板不让这么做,毕竟是下下之策。 不知道mapreduce有没有自动上传依赖jar包的机制,或者别的好的办法在web下提交job,救助各位大神,或者以前做过...

2
1
2014/11/28 00:11

[求助] 关于eclipse中运行mapreduce不是在hadoop集群环境运行而是在本地运行的问题

1.我用eclipse远程连接linux上的hadoop集群,跑Mapreduce程序都可以顺利完成,结果在集群里也可以看得到。 但是,跑程序的时候,我去集群上Jps没有我正在跑的程序 而且,我到job的web界面下,也没有我的MapReduce任务记录。。。 是不是eclipse其实在本地跑的,没有在集群中跑,我无法想明白,还请指教...

1
0
发表了问答
2015/07/20 10:30

hadoop分析数据丢失

最近发现hadoop的mapreduce程序会丢数据,不知道是什么原因,请教各位: hadoop环境,通过mapreduce程序分析hdfs上的数据,一天的数据是按小时存储的,每一个小时一个文件价,数据格式都是一样的,现在如果在16点这个文件价里有一条数据a,如果我用mr分析一整天的数据,数据a则丢失,如果单独跑16点这个文件夹里的数据,...

1
1
发表了问答
2015/04/01 12:00

Hive的代码不变为什么Map和Reduce的数目会变化?

如果数据量一样,当前集群的资源会不会影响Mapper和Reduce的数目? 比如CPU资源少了,他就会自动减少reduce的数目.... 数据的增加 和Map/Reduce的关系是线性的吗?

1
0
发表了问答
2015/08/19 08:46

hadoop,map里计数器getCounter,如何在reduce获取到这个计数器的值呢?

public void map(LongWritable key, Text value,OutputCollector<IntWritable, Text> output, Reporter reporter) throws IOException { reporter.getCounter("aa","total").increment(1); } public void reduce(IntWritable key, Iterator<Text> values, OutputCollector<NullWritable, Text> output, Reporter repor...

5
0
发表了问答
2015/09/25 10:27

mapreduce如何实现多key多values输入输出呢

现在map中要针对一个key输出两个values,同时两个values的类型还不一样,需要怎么处理,reduce中怎么去判断比较的是哪个values,这块不太懂,望大神解答

1
0
发表了问答
2015/09/23 23:21

hadoop中使用mapreduce对文本内容进行分区存储

使用partion对一个文本中不同长度的字符串分区存储 输入文本如下: Kaka 1 28 hua 0 26 chao 1 tao 1 22 mao 0 29 22 想要将不同长度的字符串分在三个文件中存储,代码如下: public class TestPartionar {   // Map Method   public static class Map extends Mapper<LongWritable, Text, Text, Text> {     // realize map...

2
0
发表了问答
2015/08/27 09:26

hadoop,集群上跑完,reduce输出时,怎样才能只生成一个文件,而不是多个part - 0000

hadoop,集群上跑完,reduce输出时,每次都会生成多个文件 part- 0001,part -0002.。。。如此,怎样才可以只生成一个文件,output是<Text,Intwriter> 知道的大神麻烦指导一下,先谢拉

6
0
发表了问答
2015/07/29 21:44

求教分布式学习的路线,主要想发篇论文

导师给的研究方向分布式算法的方向,不知道该如何下手,求教

2
0
发表了问答
2015/07/05 11:10

mapreduce的中间结果存储在哪里?

在书上看到说是spill的结果放在本地磁盘中,然后combine将每个Map Task的结果合并成一个文件(并没有说在本地磁盘还是HDFS上,按照我的理解说是在本地磁盘上),但是我写程序是可以在HDFS上看到map的输出结果(这证明是在HDFS上),这到底应该在哪里呢?

5
0
发表了问答
2015/06/11 13:52

mongodb计算疑问

结构:{ name:"张三",sex:"男",scroe:[{lesson:"物理",total:60},{lesson:"化学",total:72}], name:"李四",sex:"女",scroe:[{lesson:"物理",total:92},{lesson:"数学",total:81}] } 我现在需要查询全班所有课程的总分数是多少,例如结果为: 物理:152 化学:72 数学:81 这个在Mongodb中应如何处理?麻烦大侠们别说用m...

6
0
发表了问答
2015/05/20 22:32

MapReduce为何要用java重写?

4
0
发表了问答
2015/05/11 14:40

MapReduce的预处理编程问题

求大神:刚学MapReduce,我想将一个java程序用MapReduce实行并行化,该java程序执行时先有一个读参数的预处理过程, 然后通过绝对路径读取文件进行鉴定,请问该预处理的过程应该放在MapReduce框架的哪一步? 我想能在所有map之前已经完成这个读参数预处理,在线等大神回复,万分感谢!!...

3
0
发表了问答
2015/04/15 15:25

Mapreduce使用KeyValueTextInputFormat时怎么设置Mapper的输入key类型

public class TopSort{      public static class SortMapper extends Mapper<Text, Text, Text, Text>{     protected void map(Text key, Text value, Context context) throws IOException ,InterruptedException {       context.write(key, value);     };   }   public static class SortReducer extends Reducer<Text, Text,...

1
0
发表了问答
2015/04/02 14:19

万能的OSC,百度手机地图服务端求接地气儿的实习生

不是HR,没法发布到招聘区域,暂时扔到职业生涯,求红薯高抬贵手; 如题,技术直招实习生,简单直接; 工作方向: 1. 百度地图相关产品业务研发; 2. 百度地图数据统计和挖掘; 要求: 1. 逻辑思考能力强,思维缜密,态度端正,有责任心与时间观念; 2. 有PHP开发经验或者Hadoop、MapReduce等项目经验; 3. 2016年或其后...

16
0
发表了问答
2015/03/21 01:24

MapReduce和Hadoop有什么区别?分别有哪些优缺点?

3
0
发表了问答
2015/03/02 15:56

hadoop伪分布式运行mapreduce命令,报连接拒绝错误?

1.jps服务如下: 2.报一下错误: 15/03/02 00:45:42 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 15/03/02 00:45:46 WARN mapreduce.JobSubmitter: No job jar file set.  User classes may not be found. See Job or Job#setJar(String). 15/03/02 00:45:46 INFO input.FileInputFormat: T...

1
0
发表了问答
2014/04/29 17:42

通过mapreduce向mysql大量写数据时报错Communications link failure during rollback(). Transaction resolution unknown.

报错如下: AttemptID:attempt_1398735110766_0055_r_000000_0 Timed out after 600 secs Error: java.io.IOException: Communications link failure during rollback(). Transaction resolution unknown. at org.apache.hadoop.mapreduce.lib.db.DBOutputFormat$DBRecordWriter.close(DBOutputFormat.java:110) at org....

1
1
2014/11/02 15:20

Hadoop和数据挖掘的关联职位~~

有技术、有技术团队、有成熟产品的互联网企业在哪里? 晶赞科技( http://www.zamplus.com)是由互联网广告业资深人士共同出资创立,是专业的互联网数据整体解决方案供应商,致力于推动高效、全面、精准及智能化数字营销; [We hope you have] 数据挖掘工程师(Machine Learning) 岗位职责: 1. 研究基于sponsored searc...

8
2
发表了问答
2014/10/13 11:55

map/reduce作业如果失败了会从新开始吗

在hadoop2.0中,如果map/reduce作业失败了,会从新开始吗?

3
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页