开源问答 技术问答
正文

2000w条数据(sql文件)导入mysql, 在12000w时,命令行就承受不住了

Cantona 发布于 2017/04/07 20:59
阅读 771
收藏 2
答案 9

2000w条数据存在于一个表内. memory类型;

提示,out of memory ! 配置文件能修改的都修改了呀, 比如

tmp_table_size = 1G
max_heap_table_size = 1G

之前是用navicat导入的,提示the table is full ; 

困扰我两个晚上了, 有了解的吗 ?

 

收藏 (2)
举报
加载中
最多投票 最新
0
蓅星小雨
蓅星小雨
2017/04/07 22:46  iPhone
用etl工具，例如kettle
评论 (0) 引用此答案 举报
0
不
不日小鸡
2017/04/07 22:22

你这个2000w数据有点敏感啊

评论 (0) 引用此答案 举报
0
阿木木VS小丁丁
阿木木VS小丁丁
2017/04/07 22:27

你不能分开导入吗

评论 (0) 引用此答案 举报
0
蓅星小雨
蓅星小雨
2017/04/07 22:47  iPhone
用kettle
评论 (0) 引用此答案 举报
0
Cantona
Cantona
2017/04/07 23:53

引用来自“蓅星小雨”的评论

用etl工具，例如kettle

十分感谢!

评论 (0) 引用此答案 举报
0
啦
啦啦淡漠
2017/04/08 00:12  Android
来了
评论 (0) 引用此答案 举报
0
eechen
eechen
2017/04/08 00:29

你确定 max_heap_table_size=1GB 内存能装下2000万行数据?MySQL内存表不像Memcached能压缩数据,而且varchar在MySQL内存表中也是定长,很耗内存的.

评论 (0) 引用此答案 举报
0
宇润-非洲black鬼人人得而诛之
宇润-非洲black鬼人人得而诛之
2017/04/08 07:21  Android
千万数据应该分表了吧
评论 (0) 引用此答案 举报
0
cablefan
cablefan
2017/04/08 08:43  Android
2000W的数据却能导到12000W，赚大了，哈哈
评论 (0) 引用此答案 举报
Cantona
Cantona
最近登录：2020/07/08 14:05
全部

Can...的其他提问

用var_dump打印一个对象后, 后面的数字表示什么意思呢 ?
1 回答
502 阅读
get方式提交含有某些关键词的参数,服务器提示not found
0 回答
66 阅读
点击分类后,提交此id给后台,页面刷新. 可是该分类下的items始终无法显示了
1 回答
99 阅读
tp3.1.3项目里面一个,很让人蒙圈的路由
0 回答
908 阅读
composer 的作用是什么
1 回答 (已采纳)
1K+ 阅读

类似问题

MySQL客户端比较：Navicat for MySQL 与 MySQL-Front
17 回答
35328 阅读
（困扰很久的问题）用在windows操作系统上用Navicat远程连接CentOS中的Mysql,连接不上；
13 回答
3250 阅读
windows下mysql5.5导出sql文件再导入到mysql5.6系统报错
0 回答
112 阅读
MySQL: MyISAM和InnoDB的区别
2 回答
13869 阅读
Linux系统高负载下彻底优化MySQL数据库
0 回答
243 阅读
Discuz 7.0 导入备份数据出错：ERROR 1062 (23000)  的解决方法！
0 回答
5625 阅读
★★★mysql主从备份故障，求指点★★★
1 回答
217 阅读
navicat导出的数据怎么修改成批量插入的形式
0 回答
2829 阅读
MySQL Infobright 数据仓库快速安装笔记
3 回答
4362 阅读
根据 status 信息对 MySQL 服务器进行优化
2 回答
456 阅读
使用MySqldump命令导出数据时的注意
1 回答
7091 阅读
laravel 5.5，关于执行php artisan migrate抛出的Mysql权限错误
1 回答
900 阅读
转一篇非常好的MySQL优化的文章
4 回答
1969 阅读
navicat导入sql文件失败
16 回答
19881 阅读
把一张MyISAM引擎的表，转换成内存表的时候，遇到 [ERROR] /usr/sbin/mysqld: The table '#sql-143b_359f' is full 这个错误
0 回答
728 阅读
OSCHINA
登录后可查看更多优质内容
使用微信快捷登录
ad close
返回顶部
顶部