7
回答
mysql 1亿数据以上处理
极速云服务器,低至1.04元/天>>>   
现在数据量太大 估计达到2亿数据 但是我该怎么处理最好!!用etl? 因为这些数据我得汇总 操作起来太不方便了!!!大家有木有良策!!!求讨教!!!
举报
stevenliu
发帖于5年前 7回/4K+阅
共有7个答案 最后回答: 5年前
先分割,再处理!
--- 共有 2 条评论 ---
loki_lan@stevenliu 用SQL SERVER分析工具做可能可以分析这么大的数据量,如此大的数据估计MYSQL比较难吧 5年前 回复
stevenliu是这么回事 这些数据是我从文件里提取出来的 我已经把nG的文件分割成n份后再插入到数据库的现在是插入 数据导入完后 得处理数据 把所有数据直接关联的字段拼凑起来 用left join估计立马死机了 5年前 回复
分表。
--- 共有 2 条评论 ---
游客不是每张表记录都这么大吧,总有那么几张表数据量增长极快,每天都会有大量的记录。你把这几张表按日分表就可以了。 5年前 回复
stevenliu你的意思就是先把一亿数据分n多个表再去处理吗? 5年前 回复
只要汇总,不要搜索查询排序的话直接写文本文件,到时候对文本文件写个python脚本处理一下不就得了。
--- 共有 1 条评论 ---
helloworld_go每天处理完了直接压缩存档。其实python也能直接读zip文件。 5年前 回复
分表处理
--- 共有 1 条评论 ---
stevenliu嗯 嗯 谢谢了 目前我只能这么做了 但是 数据有个字段是跟其他表有关联的 分表后 还得关联很多 不合适吧!!! 5年前 回复

首先:1亿数据 每条有多大?

其次:你的数据库服务器性能怎么样,配置是怎么样的?

你的查询和处理有些什么?

 

2亿数据如果只是小表的话(没有大的字段)查询只是简单的查询。mysql没什么问题(服务器别太搓)。

如果是大表,可以考虑把表拆成多个表。把大字段单独放在另外的表中关联。

如果还是不成,做分表分库吧。但是得定义好一个规则。

 

--------------以上都是这么说,实际中楼主要请自测试!=----

 

--- 共有 1 条评论 ---
stevenliu服务器是8g内存 2t硬盘 cpu是x3430的 估计没问题吧 我是想把横表变成纵表 数据有规律 但是如果操作起来 用程序的话 估计还行 单纯sql去做的话怕摊了! 5年前 回复
顶部