求各种PHP大数据分页优化技巧

卖红薯 发布于 2013/05/06 14:45
阅读 3K+
收藏 11

以前一个公司面试时,被问到“如何处理PHP大数据分页”,当时回答了几个办法,面试官好像还是不满意,我已经回答了大约3种方法,当然,每种方法都被问到一些后续的问题。

大约的方法有:

http://www.4wei.cn/archives/1001728

http://www.4wei.cn/archives/1001855

我提出一些解决方法,每个方法都会扯出一些没有解决的后续问题,到今天都没有特别清晰的思路,求各位有大数据经验的同学、架构师、DBA给点经验。这里的大数据可以理解为500万左右的单表数据。

1,在同样有更新和查询的单表中,如果来使用InnoDB解决表锁造成查询慢的问题,那如何解决InnoDB和Count问题

2,如果使用分表,如何解决多表数据中需要排序的问题?

3,如果使用搜索引擎来解决全文索引,如何解决更新记录以后的同步和索引更新问题?

4,如果使用主从及读写分离,如何解决主从同步失败及数据一致性的差异问题?

加载中
0
月影又无痕
月影又无痕

海量数据分页,已经无法使用数据库自带的分页机制,比如MySQL Limit ,这会导致严重的性能问题, 经过生产环境大数据量千万级数据量分页实现的 的总结,目前为止我 所使用 的大数据量分页机制 两条:

 

1. 如果表中存在 连续 的数字列并 索引,那么通过页码即可计算出此字段的范围,直接作范围查询即可:

start = (page-1)*pagesize

end = page*pagesize

select * from table where id >start and id <=end

 

2.  对大量数据旧的分页数据,实际上是固定的,变化的仅仅是前面数页。那么将旧数据导出成一个特殊表,直接以页码为索引列,即可快速分页。同时因为新数据不断填充到前面页,故内部页码使用倒序(即超旧的数据,其在数据库中的页码越小,越新的数据其页码不断增长)

 

成功案例:某健康社区门户问答功能的列表页,目前大约共 3000 万主题帖,每页显示 30 条记录,这样大约是 100 万页。将每页要显示的数据作成一个字段,页码 及科室两个字段作 主索引, 因为业务要求要按科室及页码列出主题,同时科室分类存在层次关系,属性子科室的主题,也需要显示在父科室列表中,这样列表的总记录数实际上是超过 3000万的,冗余度大约是 2.5 ,即有 7500 万条记录,每页显示 30 ,即总共大约有 250 万页。现在将数据表重新进行设计,每页要显示的数据,作为一条记录,这样此表仅仅就只有 250 万条记录,也就相当于 250 万条记录的数据表,可胜任 7500 万主题的分页需要。表结构大致如下:
page #当前记录的页码

classid #科室 id

data #当前页要显示的数据  原始主题记录 json 化或 php 序列化后的字符串

 

但此方案的问题就是数据更新及删除的同步问题。 建议是较新数据周期性(如每 4小时 )地重新整理,旧数据可使用较慢的周期(如每天)速度处理。同时删除帖子时应该先删除帖子内容,再 使用异步队列机制处理数据的同步和更新。 虽然带来维护上的麻烦,但有效地处理了大数据量分页显示的问题

 

列表页及帖子页,全部使用伪静态方式提供访问, 最长的内科列表页,已经达到了 30万页。

数据的存储使用三台Dell R610 机器存储,每次对列表页或帖子页的访问,均需要从 MySQL 查询。目前已经胜任每日约 9 00万次访问量。如果有任何疑惑,请联系 zhangxugg@163.com 如果你有更好的办法,欢迎一起探讨。

1
梅开源
梅开源

几年以前好像是yahoo有人提出了一套mysql高性能分页

嗯嗯我记性真好,帮你搜了下,如

http://www.pcpob.com/article/view/1952-Yahoo-MySQL-Pagebreak

鱼龙帅
那如果有删除的呢?id能取到准确的id吗?
0
用户已屏蔽
用户已屏蔽
关注,学习。
0
dy810810
dy810810
表示没看懂,这是招PHP开发还是DBA?
0
熟悉的陌生人
熟悉的陌生人

引用来自“梅开源”的答案

几年以前好像是yahoo有人提出了一套mysql高性能分页

嗯嗯我记性真好,帮你搜了下,如

http://www.pcpob.com/article/view/1952-Yahoo-MySQL-Pagebreak

简单有效
0
mark35
mark35

1、海量数据分页任何数据库都头痛

2、mysql就不要折腾这些高难度动作了

0
帖子列表
帖子列表
还没机会遇到楼主遇到的问题,顶一下
0
顺顺利利
顺顺利利

企业应用很少涉及分页大数据量分页(有大数据也早根据应用切分了)

互联网的话碰上这种情况早就事先生成了缓存或是静态页面

结论就是:碰上大数据分页一般是前期需求分析太坑爹`

返回顶部
顶部