kettle内存吃尽

liyang417800 发布于 2013/11/17 10:58
阅读 3K+
收藏 0
kettle一运行,本来内存为8g的机器内存使用马上到7.8左右,有时候运行时会自动卡死退出的情况发生,spoon.BAT里的配置信息也改到了1g左右,还是会出现类似的问题,请教下大家有没有好的解决方案。对,我的job是嵌套了两层。
加载中
0
l
liyang417800

垃圾我也不想用,关键是垃圾公司没钱,不得不用垃圾软件。

目前找到了折中的办法,在排序中将缓存大小设置最大,允许放入缓存的记录数也设置为很大,这样是不卡死了,但是执行的超慢,基本上是1秒15条记录。

kettle吃内存不是一般的牛,放多少吃多少,关键是也不见效率有什么提升。

0
huan
huan

不要在kettle中放置过多的转换操作,我使用kettle基本只是用来做数据复制拷贝,复杂的操作放在数据库里用procedure处理。kettle在我看来只是个EL工具,没有T。呵呵

另外,kettle和面向对象有毛关系?

0
南湖船老大
南湖船老大
这一类工具本来就是内存大户和CPU大户。喷子只会乱喷。
0
mark35
mark35

引用来自“宏哥”的答案

不要用这些垃圾是唯一的解决办法

这些垃圾解决不了任何问题

但是它们可以让你学到面向对象

以前用kettle来转换dz数据库,速度慢还不怎么兼容pgsql。后来干脆写php脚本来逐个表进行处理,然后再用一个shell脚本来统一导出和导入。速度飞快修改代码也方便。
返回顶部
顶部