MapReduce的预处理编程问题

Logic09 发布于 2015/05/11 14:40
阅读 227
收藏 0
求大神:刚学MapReduce,我想将一个java程序用MapReduce实行并行化,该java程序执行时先有一个读参数的预处理过程,
然后通过绝对路径读取文件进行鉴定,请问该预处理的过程应该放在MapReduce框架的哪一步?
我想能在所有map之前已经完成这个读参数预处理,在线等大神回复,万分感谢!!
加载中
0
呼啦_小呆
呼啦_小呆
呼啦_小呆
回复 @Logic09 : 当然不会,只是生成class的时候处理,并不代表你得map方法,你读取文件的内容的话推荐你用分布式缓存
L
Logic09
放在setup里面话还是会没个map任务都要执行一次读参数的预处理吧?
返回顶部
顶部