分享
Golang MySQL LOAD DATA LOCAL INFILE 使用
88250 · · 2455 次点击 · · 开始浏览这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。
在往 MySQL 写入大量数据时直接 insert 效率太低,应该使用 MySQL 的 LOAD DATA LOCAL INFILE。
Golang 的 MySQL 驱动 https://github.com/go-sql-driver/mysql 支持这个用法,有用到的朋友可以参考如下代码:
db, err := sql.Open("mysql", conf.DB)
byts := &bytes.Buffer{}
for _, pv := range stat {
line := strings.Join([]string{"field1-data", "field2-data"}, "\x1F")
byts.WriteString(line)
byts.WriteString("\x1E")
}
mysql.RegisterReaderHandler("data", func() io.Reader {
return io.Reader(byts)
})
_, err = db.Exec(`LOAD DATA LOCAL INFILE 'Reader::data' INTO TABLE t_pvlogs
CHARACTER SET UTF8
FIELDS TERMINATED BY X'1F'
LINES TERMINATED BY X'1E'
(field1, field2);`)
if err != nil {
fmt.Println(err)
return
}
err = db.Close()
if err != nil {
fmt.Println(err)
return
}
其中:
- 在 import 包的时候不要用
_,因为要直接使用 mysql 包 - 设置了字段分隔符为
\x1F,行分隔符为\x1E该文章同步自 简约设计の艺术
有疑问加站长微信联系(非本文作者)
入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889
关注微信2455 次点击
上一篇:golang 笔记
下一篇:Golang 基础代码示例
添加一条新回复
(您需要 后才能回复 没有账号 ?)
- 请尽量让自己的回复能够对别人有帮助
- 支持 Markdown 格式, **粗体**、~~删除线~~、
`单行代码` - 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
- 图片支持拖拽、截图粘贴等方式上传
收入到我管理的专栏 新建专栏
在往 MySQL 写入大量数据时直接 insert 效率太低,应该使用 MySQL 的 LOAD DATA LOCAL INFILE。
Golang 的 MySQL 驱动 https://github.com/go-sql-driver/mysql 支持这个用法,有用到的朋友可以参考如下代码:
db, err := sql.Open("mysql", conf.DB)
byts := &bytes.Buffer{}
for _, pv := range stat {
line := strings.Join([]string{"field1-data", "field2-data"}, "\x1F")
byts.WriteString(line)
byts.WriteString("\x1E")
}
mysql.RegisterReaderHandler("data", func() io.Reader {
return io.Reader(byts)
})
_, err = db.Exec(`LOAD DATA LOCAL INFILE 'Reader::data' INTO TABLE t_pvlogs
CHARACTER SET UTF8
FIELDS TERMINATED BY X'1F'
LINES TERMINATED BY X'1E'
(field1, field2);`)
if err != nil {
fmt.Println(err)
return
}
err = db.Close()
if err != nil {
fmt.Println(err)
return
}
其中:
- 在 import 包的时候不要用
_,因为要直接使用 mysql 包 - 设置了字段分隔符为
\x1F,行分隔符为\x1E该文章同步自 简约设计の艺术