分享
golang并发读取文件并开启工作池处理数据
不浪人 · · 2895 次点击 · · 开始浏览这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。
func main() {
strCh := make(chan string)
wg := sync.WaitGroup{}
for i := 0; i < 20; i++ {
wg.Add(1)
go func() {
defer wg.Done()
for str := range strCh {
log.Info.Println(str)
}
}()
}
ReadFiles2Chan(filePaths, strCh)
close(strCh)
wg.Wait()
log.Info.Println("正常退出")
}
// 并发读取文件将文件行放入管道
func ReadFiles2Chan(filePaths []string, strCh chan string) {
var wg sync.WaitGroup
for _, filePath := range filePaths {
wg.Add(1)
go func(path string) {
defer wg.Done()
f, err := os.Open(path)
if err != nil {
log.Error.Fatal(err)
}
scanner := bufio.NewScanner(mahonia.NewDecoder("gbk").NewReader(f))
scanner.Split(bufio.ScanLines)
i := -1
for scanner.Scan() {
if i++; i < 2 {
continue
}
strCh <- scanner.Text()
}
}(filePath)
}
wg.Wait()
}
有疑问加站长微信联系(非本文作者)
入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889
关注微信2895 次点击
添加一条新回复
(您需要 后才能回复 没有账号 ?)
- 请尽量让自己的回复能够对别人有帮助
- 支持 Markdown 格式, **粗体**、~~删除线~~、
`单行代码` - 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
- 图片支持拖拽、截图粘贴等方式上传
收入到我管理的专栏 新建专栏
func main() {
strCh := make(chan string)
wg := sync.WaitGroup{}
for i := 0; i < 20; i++ {
wg.Add(1)
go func() {
defer wg.Done()
for str := range strCh {
log.Info.Println(str)
}
}()
}
ReadFiles2Chan(filePaths, strCh)
close(strCh)
wg.Wait()
log.Info.Println("正常退出")
}
// 并发读取文件将文件行放入管道
func ReadFiles2Chan(filePaths []string, strCh chan string) {
var wg sync.WaitGroup
for _, filePath := range filePaths {
wg.Add(1)
go func(path string) {
defer wg.Done()
f, err := os.Open(path)
if err != nil {
log.Error.Fatal(err)
}
scanner := bufio.NewScanner(mahonia.NewDecoder("gbk").NewReader(f))
scanner.Split(bufio.ScanLines)
i := -1
for scanner.Scan() {
if i++; i < 2 {
continue
}
strCh <- scanner.Text()
}
}(filePath)
}
wg.Wait()
}