开源问答 技术问答
正文

kettle 插入/更新 速度太慢

艾某 发布于 2013/04/23 10:22
阅读 11K+
收藏 1
答案 6
Kettle
 【推荐阅读】滴滴出行的数据架构和信息流处理思路解析->>>   

   我现在有这么一个问题，不知道是否正常！

   我们的项目想在用的java，通过spring的定时器，每隔一段时间调用一次.bat文件，执行一次kettle！

  然后kettle从实时数据库把那个时间段的数据插入到oracle里面！

    现在每次抽取170条左右的数据就需要8分钟，平均0.4条每秒。时间太慢了，请问有什么办法加快每秒插入数据的速度吗！

  看到后请尽快回复，谢谢！

收藏 (1)
举报
加载中
最多投票 最新
0
Refrain_PP
Refrain_PP
2014/09/22 16:55
打开连接池，优化sql，建索引
评论 (0) 引用此答案 举报
0
B
BrinX
2014/12/19 15:07
我是通过表输出到一个临时表，然后通过SQL处理的，快多了，你应该是用的自带的那个插入更新吧，那个不行
评论 (0) 引用此答案 举报
0
肩胛骨粉碎机
肩胛骨粉碎机
2016/03/22 16:17
插入更新节点里用来查询的字段2个数据类型要保持一致，如果一个是数值型一个字符串型就会奇慢
评论 (0) 引用此答案 举报
0
强子大叔的码田
强子大叔的码田
2016/05/12 13:01
批量操作？
评论 (0) 引用此答案 举报
0
Dilly
Dilly
2016/05/30 16:37

先诊断是当前是慢在哪个阶段，抽取数据还是写入数据时慢？

如果抽取慢：看DB端查询本身的性能如何

如果写入慢：看DB端SQL执行效率是否有异常，另外加大Kettle作业的并行会有一定提升

评论 (0) 引用此答案 举报
0
广
广州小伟
2017/12/25 17:16

先诊断是当前是慢在哪个阶段,是读慢还是写慢

如果是读慢，把读的语句放在源库执行一下，是否没有索引或其他问题，对语句先进行优化

如果是写慢，只是插入的就要检查数据库当时IO等，如果是用插入更新，就要看更新条件是否有创建索引了

评论 (0) 引用此答案 举报
艾
艾某
最近登录：2018/11/12 19:32

类似问题

用Kettle增量抽取数据，在不改变源表结构的情况下，有没有比较快的方案？
3 回答
6313 阅读
关于KETTLE执行update更新脚本的优化
2 回答
1359 阅读
mongodb亿级文件存储方案测试
6 回答
7599 阅读
kettle 可以做SQL SERVER 对 SQL SERVER的数据转换吗
2 回答
2365 阅读
Java读取两个文件时识别文件中的相同内容
4 回答
2263 阅读
mysql 大量数据删除插入变慢的原因？
2 回答
1982 阅读
默认条件下mysql在window中性能更好吗？
1 回答
271 阅读
Java 调用kettle转换，转换内容为mongoDB写入到数据库
0 回答
1863 阅读
如何解决消息队列的延时以及过期失效问题？
0 回答
156 阅读
请问一下有没有库可以直接操作wordpress数据库？
4 回答
506 阅读
急，KETTLE在LINUX上访问大数据量僵死，性能很低，求高手解答，谢谢
0 回答
1532 阅读
Java程序打成jar包用bat命令运行，插入数据到数据库报主键冲突
1 回答
209 阅读
大数据下精确快速搜索OpenSearch
1 回答
1941 阅读
oracle怎么提高插入速度,性能达不到，又要被投诉了……
17 回答
6581 阅读
kettle效率怎么样？
11 回答
526 阅读
返回顶部
顶部