sql查询读取大数据量查询缓慢如何优化

樱木花道VS康 发布于 06/18 13:17
阅读 810
收藏 0

环境:springboot+mybaits+mysql,

我有一条sql,查询a表,获取的结果集数据有20多万条,导致查询缓慢,有什么插件或者什么的优化下?

简单相似场景:

a表,

select a.字段一,a.字段二 from a where XXX;

这条语句能获取20多万结果集返回java中做一些业务处理,,,这个sql查询特别慢,有什么办法呢???请教大家!!

 

加载中
0
红薯官方
红薯官方

一、使用SSD做存储。

二、升级到至少千兆网卡、千兆路由器,并且减少数据库和应用服务器之间的网络延迟到5ms以下。

三、加大数据库服务器的内存,建议内存至少等于数据库文件大小,建议32GB以上。

四、应用程序方面,分页获取,每次获取1000条,评估一下数据字节大小和传输时间开销。

0
奎爷
奎爷

分片吧,加limit

0
湖水没了
湖水没了
游标也行 分页也行 游标略复杂 分页越到后面越慢
慕容狗蛋
慕容狗蛋
分页可以基于上一页最后一个 ID 进行判断,这样会快很多: where id > prev_id limit 0, 1000
0
S
SR李

上索引硬件加ssd

0
帅进
帅进

几十万数据又不是非得一下子都显示??限制数量,精确下需要的字段  select  id,name  from  

0
我是一名程序员
我是一名程序员

20w加索引不至于慢吧

0
独孤晓林

不能!你一次性要拿出20万条数据肯定慢!索引之所以快不只是自身还有要了limit限制了数据量

0
海淀彭于晏
海淀彭于晏

20万开10个线程,每个线程2万数据

0
丶璀璨星辰2
丶璀璨星辰2

分页,反正就是数据分批获取,你这一次性查出来,网络IO都是瓶颈

0
Joyzhou
Joyzhou

你确定是查询慢?不是返回结果集慢吗

返回顶部
顶部