高手问答第 171 期 — 海量数据环境下,MySQL 该如何应对?

局长 发布于 2017/09/19 20:14
阅读 6K+
收藏 103

OSCHINA 本期高手问答(2017 年 9 月 20 日 — 9 月 26 日)我们请来了@叶金荣@吴炳锡为大家解答 MySQL 如何应对海量数据方面的问题。

叶金荣,知数堂培训联合创始人,Oracle MySQL ACE,MySQL 布道师。有多年 MySQL 及系统架构设计经验,擅长 MySQL 企业级应用、数据库设计、优化、故障处理等。

吴炳锡,知数堂联合创始人,MySQL DBA 课程讲师。有多年 MySQL 及系统架构设计及培训教学经验,擅长 MySQL 大规模运维管理优化、高可用方案、多 IDC 架构设计,企业级应用数据库设计等。

互联网发展迅猛,随之而来的是数据陡增,数据的量级也呈指数的增长,从 GB 到 TB 再到 PB,对数据的各种操作变得更加的复杂和困难。MySQL 作为主流的数据库,因此开发者在使用 MySQL 应对大数据方面不免会遇到一些问题。

所以,面对着动辄百万级别的数据量,我们该如何应对,该如何优化数据库?带着这些疑问,本期高手问答就 MySQL 如何应对海量数据方面的问题进行讨论,欢迎大家踊跃提问,热情交流。

本期问答内容:

  1. 分库分表
  2. 大数据量下,如何保证可用性
  3. 如何解决大数据量的存储问题
  4. 处理海量数据时如何优化查询

或者有其他相关的问题,也欢迎大家积极提问。

OSChina 高手问答一贯的风格,不欢迎任何与主题无关的讨论和喷子。

下面欢迎大家就 MySQL 如何应对海量数据相关的问题向@叶金荣@吴炳锡提问,请直接回帖提问,提问的时候请描述清楚具体的场景,以方便回答。

———————————————— 前期回顾 ————————————————

加载中
2
izee
izee

海量数据环境下,应该把MySQL换掉

izee
izee
回复 @迪伦少校 : 本人才疏学浅,觉得三个都可以吧,不过PostgreSQL会有运维风险(提供商业支持的团队和DBA基数相对较少)
迪伦少校
迪伦少校
用啥?sqlserver?oracle?post?
2
l
lvzi98

@叶金荣

我们项目只做了分表,一中按月来,一中按用户id取模,然后数据满了之后把数据打包移走,

对于分库的情况,那种跨库的事务有啥好的方案

l
lvzi98
回复 @wubx : 嗯,目前基本上从业务上去搞,把这种跨库的事务给规避了
wubx
wubx
拆分后,在设计业务的事务时,也要考虑把一个事务落到拆分后的DB中。 如果业务需要多个DB中的数据进行事务操作,处理的办法就是把事务也分拆成多个。
0
cckfda
cckfda

@叶金荣   

  1. 分库分表 如何分表分库 可以动态扩容 分库分表后  如何分页 唯一索引还可以用吗
0
小白小霸王
小白小霸王

记得曾经回答过, 好吧, 我没啥问题. 

0
极品渣子
极品渣子
自己公司用mysql记录财务数据,用什么服务器品牌或什么配置好?
0
汪志鹏
汪志鹏

存储传感器发送的报警数据,一天大概就100W多条,长期的话数据量也很可观。告警表查询操作也比较频繁,告警频率高的时候插入很慢,这种情况怎么设计表和优化

汪志鹏
汪志鹏
谢谢啦
圣杰是也
圣杰是也
个人愚见。这种数据,在我们这里都是分表存储,按照每天或者每周进行分表。对查询和插入都有好处。
0
bingki
bingki

@叶金荣 请问,对一个表几十万的记录,需要对A字段group,需要记录汇总数量,A字段是字符串型。请问如何优化,目前查询非常慢。

0
mickelfeng
mickelfeng

@叶金荣 mysql怎么存储大数据日志。

0
金贞花
金贞花
我就一个问题,如何解决跨机房主从延迟
0
开源中国首席罗纳尔多
开源中国首席罗纳尔多

@叶金荣 请问mysql如何自动表分区?

返回顶部
顶部