hive Loading data failed

mudong 发布于 2015/02/03 11:22
阅读 2K+
收藏 0
hive> load data local inpath '/home/wyp/wyp.txt' into table wyp;
Loading data to table default.wyp
Failed with exception Unable to move source file:/home/wyp/wyp.txt to destination hdfs://msg-01:9000/user/hive/warehouse/wyp/wyp.txt
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask

不知道该怎么弄了

网上说需要弄下面这个

bin/hadoop fs -mkdir /tmp
bin/hadoop fs -mkdir /user/hive/warehouse
bin/hadoop fs -chmod g+w /tmp
bin/hadoop fs -chmod g+w /user/hive/warehouse

但是执行上面代码,系统说文件已经存在。。。


加载中
0
周文冬
周文冬

虽然已经是一个月前的了。不过,我也遇到了相同的问题。我是因为手贱,修改了hive的tmp目录。

hive.querylog.location

hive.exec.local.scratchdir

hive.downloaded.resources.dir

hive.server2.logging.operation.log.location.

这四个选项的路径本来都在data/hive_tmp/下面的。结果我改成了tmp/data/hive_tmp。之后就出现了跟你一样的问题。重新在mysql中建立hive数据库,hive中删掉数据表,namenode format之后重新建立文件夹,赋予w权限,然后还是不行。hive中可以建表,但是不能load数据。

最后无奈了,我把datanode,也就是hdfs中得datanode文件夹也给删除了,然后问题就解决了。不过实际的生产环境中,这样肯定不行的。至于原因,还在寻找中。

返回顶部
顶部