mapreduce小文件合并问题(spark)

ddxtx 发布于 2016/05/31 18:20
阅读 918
收藏 0

3万个小文件,70G的数据,内存可用10G,现在需要把这些小文件合并,但是内存放不下,能否实现读一些文件,合并一个文件,用一个MR实现


加载中
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部