50
回答
高手问答第 171 期 — 海量数据环境下,MySQL 该如何应对?
百度AI开发者大赛带你边学边开发,赢100万奖金,加群:418589053   

OSCHINA 本期高手问答(2017 年 9 月 20 日 — 9 月 26 日)我们请来了@叶金荣@吴炳锡为大家解答 MySQL 如何应对海量数据方面的问题。

叶金荣,知数堂培训联合创始人,Oracle MySQL ACE,MySQL 布道师。有多年 MySQL 及系统架构设计经验,擅长 MySQL 企业级应用、数据库设计、优化、故障处理等。

吴炳锡,知数堂联合创始人,MySQL DBA 课程讲师。有多年 MySQL 及系统架构设计及培训教学经验,擅长 MySQL 大规模运维管理优化、高可用方案、多 IDC 架构设计,企业级应用数据库设计等。

互联网发展迅猛,随之而来的是数据陡增,数据的量级也呈指数的增长,从 GB 到 TB 再到 PB,对数据的各种操作变得更加的复杂和困难。MySQL 作为主流的数据库,因此开发者在使用 MySQL 应对大数据方面不免会遇到一些问题。

所以,面对着动辄百万级别的数据量,我们该如何应对,该如何优化数据库?带着这些疑问,本期高手问答就 MySQL 如何应对海量数据方面的问题进行讨论,欢迎大家踊跃提问,热情交流。

本期问答内容:

  1. 分库分表
  2. 大数据量下,如何保证可用性
  3. 如何解决大数据量的存储问题
  4. 处理海量数据时如何优化查询

或者有其他相关的问题,也欢迎大家积极提问。

OSChina 高手问答一贯的风格,不欢迎任何与主题无关的讨论和喷子。

下面欢迎大家就 MySQL 如何应对海量数据相关的问题向@叶金荣@吴炳锡提问,请直接回帖提问,提问的时候请描述清楚具体的场景,以方便回答。

———————————————— 前期回顾 ————————————————

举报
局长
发帖于11个月前 50回/5K+阅
共有50个答案 最后回答: 10个月前

海量数据环境下,应该把MySQL换掉

--- 共有 2 条评论 ---
izee 回复 @迪伦少校 : 本人才疏学浅,觉得三个都可以吧,不过PostgreSQL会有运维风险(提供商业支持的团队和DBA基数相对较少) 11个月前 回复
迪伦少校用啥?sqlserver?oracle?post? 11个月前 回复

@叶金荣

我们项目只做了分表,一中按月来,一中按用户id取模,然后数据满了之后把数据打包移走,

对于分库的情况,那种跨库的事务有啥好的方案

--- 共有 2 条评论 ---
lvzi98 回复 @wubx : 嗯,目前基本上从业务上去搞,把这种跨库的事务给规避了 11个月前 回复
wubx拆分后,在设计业务的事务时,也要考虑把一个事务落到拆分后的DB中。 如果业务需要多个DB中的数据进行事务操作,处理的办法就是把事务也分拆成多个。 11个月前 回复

存储传感器发送的报警数据,一天大概就100W多条,长期的话数据量也很可观。告警表查询操作也比较频繁,告警频率高的时候插入很慢,这种情况怎么设计表和优化

--- 共有 2 条评论 ---
汪志鹏谢谢啦 11个月前 回复
圣杰是也个人愚见。这种数据,在我们这里都是分表存储,按照每天或者每周进行分表。对查询和插入都有好处。 11个月前 回复
顶部