分享
  1. 首页
  2. 文章

golang runtime实现多核并行任务

rfyiamcool · · 3915 次点击 · · 开始浏览
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

首先我们需要明确一下并行跟并发的区别,并发一般是被内核通过时间片或者中断来控制的,遇到io阻塞或者时间片用完的时会转移线程的使用权。一个核的情况下不可能有并行的情况,因为同一时间只有一个任务在调度。


该文章写的有些乱,欢迎来喷 ! 另外文章后续不断更新中,请到原文地址查看更新。

http://xiaorui.cc/2016/03/05/golang-runtime%E5%AE%9E%E7%8E%B0%E5%A4%9A%E6%A0%B8%E5%B9%B6%E8%A1%8C%E4%BB%BB%E5%8A%A1/


Golang默认所有的任务都在一个cpu核里,如果想使用多核来跑goroutine的任务,需要配置runtime.GOMAXPROCS。 GOMAXPROCS的数目根据自己任务量分配就可以了,有个前提是不要大于你的cpu核数。 并行比较适合那种cpu密集型计算,如果是IO密集型使用多核的化会增加cpu切换的成本。

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
package main
//xiaorui.cc
import(
"fmt"
"runtime"
)
func test(cchan bool,nint){
x:=0
fori:=0;i<1000000000;i++{
x+=i
}
println(n,x)
ifn==10{
c<-true
}
}
func main(){
runtime.GOMAXPROCS(3)
c:=make(chan bool)
fori:=0;i<200;i++{
go test(c,i)
}
<-c
fmt.Println("main end...")
}

对于经常使用python multiprocessing多进程模块来跑多核多任务的我来说,不再有GIL全局锁是个很美妙的事情。 我们通过top可以看到上面的实例代码跑到了cpu 270% . 跟我们上面配置的runtime.GOMAXPROCS(3)相对应。

对于goroutine任务的终止也是有技巧的,他不能像多进程那样,直接给kill掉。 他只能是通过类似flag信号控制,每个goroutine执行的函数逻辑里都要判断flag标示位是否为stop状态。

需要特意说明一点是,你在测试并发的时候,往往会把一个函数写成死循环并做计算,你虽然这段函数用go关键词并发了,但是你会发现他无法执行后面的逻辑。你需要做的是配置多核,或者是time.Sleep()。 这是为什么 ? Golang是自己管理调整goroutine,如果你的一个func始终不释放资源,那么其他的goroutine不会去抢夺资源。 当然这样的场景只有在测试时候遇到,正常场景下不可能没有中断和堵塞的情况。

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
package main
import(
"fmt"
"runtime"
_"time"
)
var(
flag=false
strstring
)
func xiaorui(){
flag=true
str="setup flag to true"
}
func main(){
runtime.GOMAXPROCS(1)
go xiaorui()
//time.Sleep(1*time.Second)
//理论来说,当我在xiaorui()把flag改为true后,后面的逻辑会退出.
for{
ifflag{
break
}
}
fmt.Println(str)
}

我们不断的调整的runtime.GOMAXPROCS(num) ,会发现执行的速度越来越快,但不要超过你的cpu数,因为那是徒劳的。 同样的代码我用python multiprocessing pool也实现了一份,我在MAC和线上服务器做过测试,性能要远高于python。

有疑问加站长微信联系(非本文作者)

本文来自:峰云就她了

感谢作者:rfyiamcool

查看原文:golang runtime实现多核并行任务

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

关注微信
3915 次点击
添加一条新回复 (您需要 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传

用户登录

没有账号?注册
或
(追記) (追記ここまで)

今日阅读排行

    加载中
(追記) (追記ここまで)

一周阅读排行

    加载中

关注我

  • 扫码关注领全套学习资料 关注微信公众号
  • 加入 QQ 群:
    • 192706294(已满)
    • 731990104(已满)
    • 798786647(已满)
    • 729884609(已满)
    • 977810755(已满)
    • 815126783(已满)
    • 812540095(已满)
    • 1006366459(已满)
    • 692541889

  • 关注微信公众号
  • 加入微信群:liuxiaoyan-s,备注入群
  • 也欢迎加入知识星球 Go粉丝们(免费)

给该专栏投稿 写篇新文章

每篇文章有总共有 5 次投稿机会

收入到我管理的专栏 新建专栏