kettle 表数据量很大 生成文件很慢

吴宪 发布于 2015/06/08 14:38
阅读 2K+
收藏 0

三张表关联查询,得到的数据量大概在200W左右,现在写入到一个文件内,但是写到了一万多条后程序基本就停止不动了。也没有崩溃。请问这是什么状况?另外如果想把这些数据分批写到不同文件内,该如何实现?


例如文件001保存10万条,如果第一个文件累计到10万条数据后,文件后缀+1,变成002,在保存10万条数据,以此类推。



加载中
0
低调的海

请问后来是怎么解决的?

返回顶部
顶部