Flink Table & sql 写入hive不成功

想喝又怕醉的酒 发布于 2020/09/27 17:51
阅读 1K+
收藏 1

如何使用英特尔®oneAPI工具实现PyTorch 优化,直播火热报名中>>>

flink 1.11.2版本,使用flink  table从kafka获取数据然后写入Hive表中,发现flink table确实可以从kafka中拿到数据,但是却写不进hive,没有报错,请问大佬是怎么回事呢,代码如下:

 

 

加载中
0
h
hackyun

我也遇到这个问题,奇怪啊,手动在flink插入数据到hive是可以的,但是flink自动消费kafka数据插入hive就没有数据进去,kafka中的数据确实被消费了。

osc_86403852
osc_86403852
遇到了同一个问题,排查后发现是要么你数据量太小了,插入的批量数据会有个hdfs的参数可以配置单文件最大大小,如果不到那个大小hdfs上的文件是processing状态的,是个隐藏文件,hive读不到,要等他关闭了文件才可以查询到
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部