kettle job执行速度慢,请帮帮忙看看

accbin 发布于 2013/04/28 09:35
阅读 2K+
收藏 0

我写了一个job,逻辑比较简单,但是通过日志发现速度很慢,而真正的数据抽取花的时间都很少,都是[test]这样子的步骤消耗了太多时间,刚接触kellte,请问这个[test]步骤是必须的吗?我是通过spoon可视化界面点击"运行"跑job的.

2013/04/28 02:45:15 - test - Loading 0 notes
2013/04/28 02:45:15 - test - Loading 4 job entries
2013/04/28 02:45:16 - test - Loading 3 job hops
2013/04/28 02:45:16 - Spoon - 正在开始任务...
2013/04/28 02:45:16 - 数据同步job(基于时间戳) - 开始执行任务
2013/04/28 02:45:16 - 数据同步job(基于时间戳) - 数据同步job(基于时间戳)
2013/04/28 02:45:17 - 数据同步job(基于时间戳) - 开始项[获取时间戳配置表]
2013/04/28 02:45:17 - 获取时间戳配置表 - Loading transformation from repository [获取时间戳配置表] in directory [/业务数据层_by时间戳]
2013/04/28 02:45:17 - test - 查找转换[获取时间戳配置表] 在目录 [/业务数据层_by时间戳]
2013/04/28 02:45:17 - test - 从资源库加载转换 [获取时间戳配置表]...
2013/04/28 02:45:17 - test - 以步骤ID加载: 106
2013/04/28 02:45:17 - test - 以步骤ID加载: 107
2013/04/28 02:45:17 - test - ID_DIRECTORY=1
2013/04/28 02:45:21 - test - 加载转换[获取时间戳配置表] , 目录 == 空 : false
2013/04/28 02:45:21 - test - 加载转换[获取时间戳配置表]在目录 /业务数据层_by时间戳
2013/04/28 02:45:21 - 获取时间戳配置表 - 为了转换解除补丁开始  [获取时间戳配置表]
2013/04/28 02:45:21 - 查询时间戳配置表.0 - Finished reading query, closing connection.
2013/04/28 02:45:21 - 复制记录到结果.0 - 完成处理 (I=0, O=0, R=1, W=1, U=0, E=0
2013/04/28 02:45:21 - 查询时间戳配置表.0 - 完成处理 (I=1, O=0, R=0, W=1, U=0, E=0
2013/04/28 02:45:21 - 数据同步job(基于时间戳) - 开始项[执行数据抽取(基于时间戳)]
2013/04/28 02:45:23 - test - Loading 0 notes
2013/04/28 02:45:23 - test - Loading 3 job entries
2013/04/28 02:45:24 - test - Loading 2 job hops
2013/04/28 02:45:24 - 执行数据抽取(基于时间戳) - 开始项[参数设置(基于时间戳)]
2013/04/28 02:45:24 - 参数设置(基于时间戳) - Loading transformation from repository [参数设置(基于时间戳)] in directory [/业务数据层_by时间戳]
2013/04/28 02:45:24 - test - 查找转换[参数设置(基于时间戳)] 在目录 [/业务数据层_by时间戳]
2013/04/28 02:45:24 - test - 从资源库加载转换 [参数设置(基于时间戳)]...
2013/04/28 02:45:25 - test - 以步骤ID加载: 84
2013/04/28 02:45:25 - test - 以步骤ID加载: 83
2013/04/28 02:45:25 - test - ID_DIRECTORY=1
2013/04/28 02:45:28 - test - 加载转换[参数设置(基于时间戳)] , 目录 == 空 : false
2013/04/28 02:45:28 - test - 加载转换[参数设置(基于时间戳)]在目录 /业务数据层_by时间戳
2013/04/28 02:45:28 - 参数设置(基于时间戳) - 为了转换解除补丁开始  [参数设置(基于时间戳)]
2013/04/28 02:45:28 - 从结果获取记录.0 - 完成处理 (I=0, O=0, R=1, W=1, U=0, E=0
2013/04/28 02:45:28 - Set Variables.0 - Setting environment variables...
2013/04/28 02:45:28 - Set Variables.0 - Set variable TABLE_NAME to value [zylog.service_call_log]
2013/04/28 02:45:28 - Set Variables.0 - Set variable FIELD_NAME_1 to value [log_time]
2013/04/28 02:45:28 - Set Variables.0 - Set variable FIELD_NAME_2 to value [log_time]
2013/04/28 02:45:28 - Set Variables.0 - Set variable FIELD_NAME_3 to value [log_time]
2013/04/28 02:45:28 - Set Variables.0 - Set variable FIELD_NAME_4 to value [log_time]
2013/04/28 02:45:28 - Set Variables.0 - Set variable FIELD_NAME_5 to value [log_time]
2013/04/28 02:45:28 - Set Variables.0 - Set variable SYSTEM_CODE to value [myself]
2013/04/28 02:45:28 - Set Variables.0 - Finished after 1 rows.
2013/04/28 02:45:28 - Set Variables.0 - 完成处理 (I=0, O=0, R=1, W=1, U=0, E=0
2013/04/28 02:45:28 - 执行数据抽取(基于时间戳) - 开始项[执行数据抽取(基于时间戳)]
2013/04/28 02:45:28 - 执行数据抽取(基于时间戳) - Loading transformation from repository [执行数据抽取(基于时间戳)] in directory [/业务数据层_by时间戳]
2013/04/28 02:45:28 - test - 查找转换[执行数据抽取(基于时间戳)] 在目录 [/业务数据层_by时间戳]
2013/04/28 02:45:28 - test - 从资源库加载转换 [执行数据抽取(基于时间戳)]...
2013/04/28 02:45:29 - test - 以步骤ID加载: 103
2013/04/28 02:45:29 - test - 以步骤ID加载: 104
2013/04/28 02:45:29 - test - 以步骤ID加载: 105
2013/04/28 02:45:29 - test - ID_DIRECTORY=1
2013/04/28 02:45:32 - test - 加载转换[执行数据抽取(基于时间戳)] , 目录 == 空 : false
2013/04/28 02:45:32 - test - 加载转换[执行数据抽取(基于时间戳)]在目录 /业务数据层_by时间戳
2013/04/28 02:45:32 - 执行数据抽取(基于时间戳) - 为了转换解除补丁开始  [执行数据抽取(基于时间戳)]
2013/04/28 02:45:32 - 表输出.0 - Connected to database [hipzs] (commit=1000)
2013/04/28 02:45:32 - 获取目标最后更新时间.0 - Finished reading query, closing connection.
2013/04/28 02:45:32 - 获取目标最后更新时间.0 - 完成处理 (I=1, O=0, R=0, W=1, U=0, E=0
2013/04/28 02:45:34 - 表输入.0 - Finished reading query, closing connection.
2013/04/28 02:45:34 - 表输入.0 - 完成处理 (I=0, O=0, R=1, W=0, U=0, E=0
2013/04/28 02:45:34 - 执行数据抽取(基于时间戳) - 完成作业项[执行数据抽取(基于时间戳)] (结果=[true])
2013/04/28 02:45:34 - 执行数据抽取(基于时间戳) - 完成作业项[参数设置(基于时间戳)] (结果=[true])
2013/04/28 02:45:34 - 数据同步job(基于时间戳) - 开始项[Success]
2013/04/28 02:45:34 - 数据同步job(基于时间戳) - 完成作业项[Success] (结果=[true])
2013/04/28 02:45:34 - 数据同步job(基于时间戳) - 完成作业项[执行数据抽取(基于时间戳)] (结果=[true])
2013/04/28 02:45:34 - 数据同步job(基于时间戳) - 完成作业项[获取时间戳配置表] (结果=[true])
2013/04/28 02:45:34 - 数据同步job(基于时间戳) - 任务执行完毕
2013/04/28 02:45:34 - Spoon - 任务已经结束.


加载中
返回顶部
顶部