1
回答
Hadoop的Map和Reduce中能不能打开HDFS文件系统中的文件?
利用AWS快速构建适用于生产的无服务器应用程序,免费试用12个月>>>   
我要做一个图片处理的程序,但是,如果一开始就把整个图片都读进去的话,那么这么大一块数据就要被传递几次(我现在编写的程序是传递给Map要传递一张图片的大小,Map传递给Reduce又要传递一张图片的大小,而Reduce里面的函数还要传递两三次),这样就很浪费时间,同时也浪费空间。我想的是直接把要处理文件的地址传递给Map,Map再把地址传递给Reduce,最后才在Reduce中的相关函数里再去打开文件?请问,Map和Reduce中能打开HDFS中的文件吗?如果能的话怎么打开?
举报
KevinWen
发帖于4年前 1回/731阅
顶部