hadoop排序

神是到着念 发布于 2013/11/13 16:43
阅读 394
收藏 0
如何保证多个reduce产生的结果是按顺序保存到同一个输出文件中呢?
加载中
0
张亦俊
张亦俊

用MapReduce做分布式排序是MapReduce论文的举的一个例子,LZ可以参考一些。

当然,我记得方法貌似是只用一个Reduce……

0
华兹格
华兹格

里面有个设置的,你也可以重写实现自己的排序规则。

看wordcount的实例

0
zhuyuping
zhuyuping

编写MR程序时候,job可以设置combiner 整理一下,然后关键是设置setSortComparatorClass

设置好这个类,他就会在传递到reduce 之前 排好顺序  这样也不能保证一定按照顺序执行完,因为机器不同等等原因 执行快慢等等, 所以你需要reduce 完后在进行控制 

返回顶部
顶部