impala hive insert动态分区时出现错误

moving啊啊啊啊 发布于 2018/09/28 16:38
阅读 260
收藏 0

centos 7, 四台服务器,64G ,20核; cdh5.12.1

在执行入库sql时,代码报错;

 

catalog 和impala deamon log报错如下:

 

hiv中有多张表,但是其他表入库就不会出现这个问题,单单这一张表一直出现这个问题;

具体现象为:

每次差不多是在某个时间的整点后第一次入库的时候发生,发生的时候数据其实是插入进对应表的对应文件夹里面去了的,但是就是hive的metadata元数据表里分区信息没有增加,即如果你查询该表的话是查不到出问题时入库的数据的;

这个错误会一直存在,并抛出indexoutboundof……异常,然后在某一刻又变得正常,放任不管的话基本不到一天又会出现这个问题;但如果把出问题的表删掉并重新建一张相同的表的话,一般就可以运行两三天后才会再次出现这个问题;

试过删除hive ,impala重新安装,但依旧如此;

并且此问题只出现在这一种数据的两张表上,其他数据均可以正常入库;

 

我反复检查了自己的代码,确认没什么改动,并且也没什么用法错误;

并且hadoop服务器我也没做任何设置调整;

这个问题是最近才出现的,之前运行了很久都没有出现过类似问题,

但就是找不到原因,有谁遇到和我一样的问题么?或者有解决思路的,麻烦告知下,不胜感激!!!!问题解决后可有偿报答!!!!!

 

 

 

加载中
返回顶部
顶部