现在有几千万条数据要插入到mysql中,抛开数据库的问题不谈,现在想知道的问题如下:
- go-mysql-driver是否有批量插入的功能,譬如hibernate中就有
另外求教思路,加快插入速度,我想到的有:
1. 并行插入,譬如开多个线程
2. 利用批量插入
求教大神们,因为之前是做java的,golang中框架什么的,很多东西不太清楚
多线程在这个场景下效果有限,瓶颈在数据库那里
推荐用mysqldump导出,用mysql导入
尽量用现成的批量导入工具
#1
更多评论
可以参考这里:https://blog.zhengxianjun.com/2017/06/mysql-batch-insert-update/
#2
https://stackoverflow.com/questions/21108084/golang-mysql-insert-multiple-data-at-once
#3