开源问答 技术问答
正文

kettle 插入/更新 速度太慢

艾某 发布于 2013/04/23 10:22
阅读 18K+
收藏 1
答案 6
Kettle

   我现在有这么一个问题，不知道是否正常！

   我们的项目想在用的java，通过spring的定时器，每隔一段时间调用一次.bat文件，执行一次kettle！

  然后kettle从实时数据库把那个时间段的数据插入到oracle里面！

    现在每次抽取170条左右的数据就需要8分钟，平均0.4条每秒。时间太慢了，请问有什么办法加快每秒插入数据的速度吗！

  看到后请尽快回复，谢谢！

收藏 (1)
举报
加载中
最多投票 最新
0
成都_平平
成都_平平
2014/09/22 16:55
打开连接池，优化sql，建索引
评论 (0) 引用此答案 举报
0
B
BrinX
2014/12/19 15:07
我是通过表输出到一个临时表，然后通过SQL处理的，快多了，你应该是用的自带的那个插入更新吧，那个不行
评论 (0) 引用此答案 举报
0
肩胛骨粉碎机
肩胛骨粉碎机
2016/03/22 16:17
插入更新节点里用来查询的字段2个数据类型要保持一致，如果一个是数值型一个字符串型就会奇慢
评论 (0) 引用此答案 举报
0
强子大叔的码田
强子大叔的码田
2016/05/12 13:01
批量操作？
评论 (0) 引用此答案 举报
0
Dilly
Dilly
2016/05/30 16:37

先诊断是当前是慢在哪个阶段，抽取数据还是写入数据时慢？

如果抽取慢：看DB端查询本身的性能如何

如果写入慢：看DB端SQL执行效率是否有异常，另外加大Kettle作业的并行会有一定提升

评论 (0) 引用此答案 举报
0
广
广州小伟
2017/12/25 17:16

先诊断是当前是慢在哪个阶段,是读慢还是写慢

如果是读慢，把读的语句放在源库执行一下，是否没有索引或其他问题，对语句先进行优化

如果是写慢，只是插入的就要检查数据库当时IO等，如果是用插入更新，就要看更新条件是否有创建索引了

评论 (0) 引用此答案 举报
艾
艾某
最近登录：2018/11/12 19:32

类似问题

用Kettle增量抽取数据，在不改变源表结构的情况下，有没有比较快的方案？
3 回答
6746 阅读
关于KETTLE执行update更新脚本的优化
2 回答
2831 阅读
kettle 可以做SQL SERVER 对 SQL SERVER的数据转换吗
2 回答
2585 阅读
mongodb亿级文件存储方案测试
6 回答
7989 阅读
默认条件下mysql在window中性能更好吗？
1 回答
473 阅读
Java读取两个文件时识别文件中的相同内容
4 回答
2505 阅读
mysql 大量数据删除插入变慢的原因？
2 回答
2736 阅读
kettle效率怎么样？
11 回答
1084 阅读
大数据下精确快速搜索OpenSearch
1 回答
2275 阅读
急，KETTLE在LINUX上访问大数据量僵死，性能很低，求高手解答，谢谢
0 回答
1711 阅读
Java 调用kettle转换，转换内容为mongoDB写入到数据库
0 回答
2624 阅读
oracle怎么提高插入速度,性能达不到，又要被投诉了……
17 回答
7767 阅读
java千万级别数据生成文件思路和优化
0 回答
282 阅读
kettle工具中嵌入java代码
1 回答
2337 阅读
请问一下有没有库可以直接操作wordpress数据库？
4 回答
554 阅读
OSCHINA
登录后可查看更多优质内容
使用微信快捷登录
ad close
返回顶部
顶部