golang 高性能定时器之最小堆实现
鼎铭 · · 4932 次点击 · · 开始浏览业务中有很多定时任务,在规定时间内,不管是否完成都需要回调,明显,这种需要实现定时器,比较好的是时间轮和最小堆。这里介绍最小堆实现,这里就是个变相的topN 问题。
该文章后续仍在不断的更新修改中, 请移步到原文地址http://www.dmwan.cc/?p=146
由于是项目中要使用,不能仅考虑最小堆就完事,需要添加几条特性,第一个是要用一个timer 实现计时功能,第二个是要有提前删除功能。特别提下第二点,在高并发的情况下,timer 不能让任务自动过期,业务成功的情况下,要能提前删除,否则,timer压力会越来越大;
项目github地址:https://github.com/caucy/timeloop。
调用示例:
package main
import (
"os"
"fmt"
"time"
"os/signal"
"strconv"
"syscall"
"timeloop/timer"
)
var (
timerCtl *timer.TimerHeapHandler
)
func init() {
timerCtl = timer.New(10, 1000)
}
type timerHandler struct {
}
func AddTimerTask(dueInterval int, taskId string) {
timerCtl.AddFuncWithId(time.Duration(dueInterval)*time.Second, taskId, func() {
fmt.Printf("taskid is %v, time Duration is %v", taskId, dueInterval )
})
}
func (t *timerHandler) StartLoop() {
timerCtl.StartTimerLoop(timer.MIN_TIMER) // 扫描的间隔时间 eq cpu hz/tick
}
func main() {
sigs := make(chan os.Signal, 1)
signal.Notify(sigs, syscall.SIGINT, syscall.SIGTERM)
timerEntry := timerHandler{}
timerEntry.StartLoop()
num := 5000
interval := 1000 * time.Millisecond
go func (){
for i := 0; i < num; i++ {
taskId := strconv.Itoa(i)
timerCtl.AddFuncWithId(10 *interval, taskId, func() {
fmt.Printf("taskid is %v, time Duration is %v \n", taskId, interval )
})
time.Sleep(100 * time.Millisecond)
}
}()
<- sigs
}
实现的主要思路就是,维护个最小堆,每次push,pop 的时候调整堆生成最小堆,一个时钟,每隔一段时间去pop 所有超时的任务,放入异步消费队列中去。 在高频的超时任务管理中,这种类库还是很有用的。
有疑问加站长微信联系(非本文作者)
入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889
关注微信- 请尽量让自己的回复能够对别人有帮助
- 支持 Markdown 格式, **粗体**、~~删除线~~、
`单行代码` - 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
- 图片支持拖拽、截图粘贴等方式上传
收入到我管理的专栏 新建专栏
业务中有很多定时任务,在规定时间内,不管是否完成都需要回调,明显,这种需要实现定时器,比较好的是时间轮和最小堆。这里介绍最小堆实现,这里就是个变相的topN 问题。
该文章后续仍在不断的更新修改中, 请移步到原文地址http://www.dmwan.cc/?p=146
由于是项目中要使用,不能仅考虑最小堆就完事,需要添加几条特性,第一个是要用一个timer 实现计时功能,第二个是要有提前删除功能。特别提下第二点,在高并发的情况下,timer 不能让任务自动过期,业务成功的情况下,要能提前删除,否则,timer压力会越来越大;
项目github地址:https://github.com/caucy/timeloop。
调用示例:
package main
import (
"os"
"fmt"
"time"
"os/signal"
"strconv"
"syscall"
"timeloop/timer"
)
var (
timerCtl *timer.TimerHeapHandler
)
func init() {
timerCtl = timer.New(10, 1000)
}
type timerHandler struct {
}
func AddTimerTask(dueInterval int, taskId string) {
timerCtl.AddFuncWithId(time.Duration(dueInterval)*time.Second, taskId, func() {
fmt.Printf("taskid is %v, time Duration is %v", taskId, dueInterval )
})
}
func (t *timerHandler) StartLoop() {
timerCtl.StartTimerLoop(timer.MIN_TIMER) // 扫描的间隔时间 eq cpu hz/tick
}
func main() {
sigs := make(chan os.Signal, 1)
signal.Notify(sigs, syscall.SIGINT, syscall.SIGTERM)
timerEntry := timerHandler{}
timerEntry.StartLoop()
num := 5000
interval := 1000 * time.Millisecond
go func (){
for i := 0; i < num; i++ {
taskId := strconv.Itoa(i)
timerCtl.AddFuncWithId(10 *interval, taskId, func() {
fmt.Printf("taskid is %v, time Duration is %v \n", taskId, interval )
})
time.Sleep(100 * time.Millisecond)
}
}()
<- sigs
}
实现的主要思路就是,维护个最小堆,每次push,pop 的时候调整堆生成最小堆,一个时钟,每隔一段时间去pop 所有超时的任务,放入异步消费队列中去。 在高频的超时任务管理中,这种类库还是很有用的。