1
回答
关于hadoop的一个问题
注册华为云得mate10,2.9折抢先购!>>>   

  HDFS是一种读写性能很不对称的文件系统。应该尽可能的利用其读性能很强的特点。减少对写文件和shuffle操作的依赖。举例来说,当需要根据数据的 统计情况来决定对数据的处理的时候。将统计和数据处理分成两轮map-reduce比将统计信息合并和数据处理都放到一个reduce中要快速的多。

 

这里的将 统计和数据处理分成两轮map-reduce 如何理解

将统计信息合并和数据处理都放到一个reduce  如何理解

初学hadoop 希望高手指点,谢谢

举报
hello_win
发帖于6年前 1回/208阅
顶部