Hadoop成功启动后,在执行mapred的wordcount时却不能运行任务

江离 发布于 2012/07/24 13:28
阅读 2K+
收藏 0

我的是在xp系统下3台连一起的,具体问题如下:hadoop@hdp8 /cygdrive/d/hadoop
$ bin/hadoop dfs -put ./wordcount input(记得在ubuntu下。这步完成后有提示的,现在没有)

hadoop@hdp8 /cygdrive/d/hadoop
$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output
12/07/24 12:51:07 INFO input.FileInputFormat: Total input paths to process : 3
12/07/24 12:51:08 INFO mapred.JobClient: Running job: job_201207241242_0001
12/07/24 12:51:09 INFO mapred.JobClient:  map 0% reduce 0%
12/07/24 12:51:24 INFO mapred.JobClient: Task Id : attempt_201207241242_0001_m_000025_0, Status : FAILED
java.io.FileNotFoundException: File D:/tmp/hadoop-SYSTEM/mapred/local/taskTracker/jobcache/job_201207241242_0001/attempt_201207241242_0001_m_000025_0/work/tmp does not exist.(提示文件缺损。找了下的却没有,该怎么处理)
attempt_201207241242_0001_r_000002_0, Status : FAILED
java.io.FileNotFoundException: File D:/tmp/hadoop-SYSTEM/mapred/local/taskTracker/jobcache/job_201207241242_0001/attempt_201207241242_0001_r_000002_0/work/tmp does not exist.

加载中
0
逝水fox
逝水fox

楼主是否是装完hadoop初始化hdfs之后,有重启过机器什么的。不知道为什么会出现在D盘,楼主在Windows下装的吗。

hadoop默认hadoop.tmp.dir是用的系统的临时目录,一重启就全丢了。旧版本在Linux下需要改core-site.xml增加一个配置项,具体目录根据需要设定,不要用临时目录:

<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
</property>

江离
江离
我是在windows XP下安装的,hadoop和cygwin是装在d盘的。所以。。在format后重启过电脑,可能就是出现的那个问题。感谢!
江离
江离
谢谢~我试试~
返回顶部
顶部