mysql 1亿数据以上处理

stevenliu 发布于 2012/08/17 16:17
阅读 4K+
收藏 0
现在数据量太大 估计达到2亿数据 但是我该怎么处理最好!!用etl? 因为这些数据我得汇总 操作起来太不方便了!!!大家有木有良策!!!求讨教!!!
加载中
0
zfc827
zfc827
前几天讨论区发了篇好文,建议楼主去看看,提问的智慧: http://www.beiww.com/doc/oss/smart-questions.html。你这个问题说实话,真的一头雾水,关于数据的结构,操作是读还是写、频度如何,什么都没有交代。
stevenliu
stevenliu
嗯 好的 谢谢 这个是我的失误 这就补上 谢谢了!
0
loki_lan
loki_lan
先分割,再处理!
loki_lan
loki_lan
@stevenliu 用SQL SERVER分析工具做可能可以分析这么大的数据量,如此大的数据估计MYSQL比较难吧
stevenliu
stevenliu
是这么回事 这些数据是我从文件里提取出来的 我已经把nG的文件分割成n份后再插入到数据库的现在是插入 数据导入完后 得处理数据 把所有数据直接关联的字段拼凑起来 用left join估计立马死机了
0
你来打我呀
你来打我呀
你来打我呀
@stevenliu 分数据 或 分表。
stevenliu
stevenliu
求解决思路 暂时我还没思路呢!!!!
0
游客
游客
分表。
游客
游客
不是每张表记录都这么大吧,总有那么几张表数据量增长极快,每天都会有大量的记录。你把这几张表按日分表就可以了。
stevenliu
stevenliu
你的意思就是先把一亿数据分n多个表再去处理吗?
0
helloworld_go
helloworld_go
只要汇总,不要搜索查询排序的话直接写文本文件,到时候对文本文件写个python脚本处理一下不就得了。
helloworld_go
helloworld_go
每天处理完了直接压缩存档。其实python也能直接读zip文件。
0
西门掃雪
西门掃雪
分表处理
stevenliu
stevenliu
嗯 嗯 谢谢了 目前我只能这么做了 但是 数据有个字段是跟其他表有关联的 分表后 还得关联很多 不合适吧!!!
0
十一文
十一文

首先:1亿数据 每条有多大?

其次:你的数据库服务器性能怎么样,配置是怎么样的?

你的查询和处理有些什么?

 

2亿数据如果只是小表的话(没有大的字段)查询只是简单的查询。mysql没什么问题(服务器别太搓)。

如果是大表,可以考虑把表拆成多个表。把大字段单独放在另外的表中关联。

如果还是不成,做分表分库吧。但是得定义好一个规则。

 

--------------以上都是这么说,实际中楼主要请自测试!=----

 

stevenliu
stevenliu
服务器是8g内存 2t硬盘 cpu是x3430的 估计没问题吧 我是想把横表变成纵表 数据有规律 但是如果操作起来 用程序的话 估计还行 单纯sql去做的话怕摊了!
返回顶部
顶部