新手提问,怎么设置定时读取一个数据源的数据,读取后并做删除已读取数据的操作。

大喜西安 发布于 2015/05/20 10:23
阅读 270
收藏 0

新手,提问,请大家多包涵,数据源数据库是MYSQL,准备定时从源数据库读取数据,做删除缺字段数据和重复数据,然后删除源数据库中的数据。使用KETTLE的版本是4.1.0,请问各位大神怎么操作。


加载中
0
houhuiliang
houhuiliang
你可以写个小脚本去处理源数据,把最后一个被执行的id记录在一个临时txt文档里,再做个定时计划任务,定时执行你的脚本
0
范老司
范老司

   @大喜西安  遇到这种问题,我们应该这样去想:

   一,数据库方面

       我们是否可以写个事物什么的的,定时去执行莫邪操作呢

   二,代码方面

       我记得Java提供了一个Timer的机制,用于定时的执行一系列逻辑,类似于回调函数+递归模式

范老司
范老司
回复 @大喜西安 : 如果你的数据量比较大,而且你需要分布式处理,这个时候我建议你使用Spring MVC + Quartz (一个开源的,专用于定时任务的工具)
大喜西安
大喜西安
谢谢 您的回答 让我有了思路 两种方法 看哪种更有效率 如果数据量较大的情况下。
返回顶部
顶部