1
回答
关于hadoop的一个问题
利用AWS快速构建适用于生产的无服务器应用程序,免费试用12个月>>>   

  HDFS是一种读写性能很不对称的文件系统。应该尽可能的利用其读性能很强的特点。减少对写文件和shuffle操作的依赖。举例来说,当需要根据数据的 统计情况来决定对数据的处理的时候。将统计和数据处理分成两轮map-reduce比将统计信息合并和数据处理都放到一个reduce中要快速的多。

 

这里的将 统计和数据处理分成两轮map-reduce 如何理解

将统计信息合并和数据处理都放到一个reduce  如何理解

初学hadoop 希望高手指点,谢谢

举报
hello_win
发帖于5年前 1回/205阅
顶部