2000w条数据(sql文件)导入mysql, 在12000w时,命令行就承受不住了

Cantona 发布于 2017/04/07 20:59
阅读 771
收藏 2

2000w条数据存在于一个表内. memory类型;

提示,out of memory ! 配置文件能修改的都修改了呀, 比如

tmp_table_size = 1G
max_heap_table_size = 1G

之前是用navicat导入的,提示the table is full ; 

困扰我两个晚上了, 有了解的吗 ?

 

加载中
0
蓅星小雨
蓅星小雨
用etl工具,例如kettle
0
不日小鸡

你这个2000w数据有点敏感啊

0
阿木木VS小丁丁
阿木木VS小丁丁

你不能分开导入吗

0
Cantona
Cantona

引用来自“蓅星小雨”的评论

用etl工具,例如kettle

十分感谢!

0
eechen
eechen

你确定 max_heap_table_size=1GB 内存能装下2000万行数据?MySQL内存表不像Memcached能压缩数据,而且varchar在MySQL内存表中也是定长,很耗内存的.

0
0
cablefan
cablefan
2000W的数据却能导到12000W,赚大了,哈哈
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部