Golang通过Goroutine+Channel指定同时下载的数量

What you are wasting today is tomorrow for those who died yesterday; what you hate now is the future you can not go back.

你所浪费的今天是昨天死去的人奢望的明天; 你所厌恶的现在是未来的你回不去的曾经。

今天发现某盘里有好多收藏的歌曲,于是想下载下来,就想用Golang下一个(别问为啥)

下载部分整理为库, 代码如下:

package download
import (
	"strconv"
	"sync"
	"time"
)
type Urls struct {
	Urls []string
	Wg sync.WaitGroup
	Chs chan int // 默认下载量
	Ans chan bool // 每个进程的下载状态
}
// 初始化下载地址 根据项目确认使用配置文件的方式还是其他方式,此处使用爬虫处理没公开
func (u *Urls) InitUrl(end chan bool) {
	for i := 0; i < 20; i++ {
		u.Urls = append(u.Urls, "https://studygolang.com/articles/2228")
	}
	end <- true
}
// 实际的下载操作
func downloadHandle(url string, b *bar.Bar) string {
 //需要根据下载内容作存储等处理
	time.Sleep(3*time.Second)
	return ""
}
/**
每个线程的操作
url 下载地址
chs 默认下载量
ans 每个线程的下载状态
*/
func (u *Urls) Work(url string) {
	defer func() {
		<-u.Chs // 某个任务下载完成,让出
		u.Wg.Done()
	}()
 downloadHandle(url)
	u.Ans <- true // 告知下载完成
}

调用方式:

package main
import (
	dl "downloadAndstup/download"
)
func main(){
	end := make(chan bool)
	u := dl.Urls{
		Chs:make(chan int , 5), // 默认同时下载5个
		Ans: make(chan bool),
	}
	// 初始化url
	go u.InitUrl(end)
	if ok := <- end; ok{
 // 分发的下载线程
		go func(){
			for _, v := range u.Urls{
				u.Chs <- 1 // 限制线程数 (每次下载缓存加1, 直到加满阻塞)
				u.Wg.Add(1)
				go u.Work(v)
			}
 u.Wg.Wait() // 等待所有分发出去的线程结束
			close(u.Ans)// 否则range 会报错哦
		}()
 
 // 静静的等待每个下载完成
		for _ = range u.Ans{
		}
	}
}

以上的线程会在某一个下载任务完成后,马上启动一新goroutine继续共5个下载的任务,

如果新需求是同时下载,并且按循序下载5个后,再启动新5个下载任务?后续更新

本文来自:开源中国博客

感谢作者:90design

查看原文:Golang通过Goroutine+Channel指定同时下载的数量

• 编辑
• 预览