博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Golang通过Goroutine+Channel指定同时下载的数量
阅读量:5740 次
发布时间:2019-06-18

本文共 1500 字,大约阅读时间需要 5 分钟。

hot3.png

What you are wasting today is tomorrow for those who died yesterday; what you hate now is the future you can not go back.

你所浪费的今天是昨天死去的人奢望的明天; 你所厌恶的现在是未来的你回不去的曾经。

 今天发现某盘里有好多收藏的歌曲,于是想下载下来,20个链接,规定一次同时下载5个,就想用Golang下一个(别问为啥)

下载部分整理为库, 代码如下:

package downloadimport (	"strconv"	"sync"	"time")type Urls struct {	Urls []string	Wg   sync.WaitGroup	Chs  chan int  // 默认下载量	Ans  chan bool // 每个进程的下载状态}// 初始化下载地址  根据项目确认使用配置文件的方式还是其他方式,此处使用爬虫处理没公开func (u *Urls) InitUrl(end chan bool) {	for i := 0; i < 20; i++ {		u.Urls = append(u.Urls, "https://studygolang.com/articles/2228")	}	end <- true}// 实际的下载操作func downloadHandle(url string, b *bar.Bar) string {    //需要根据下载内容作存储等处理	time.Sleep(3*time.Second)	return ""}/**每个线程的操作url 下载地址chs 默认下载量ans 每个线程的下载状态*/func (u *Urls) Work(url string) {	defer func() {		<-u.Chs  // 某个任务下载完成,让出		u.Wg.Done()	}()    downloadHandle(url)	u.Ans <- true // 告知下载完成}

调用方式:

package mainimport (	dl "downloadAndstup/download")func main(){	end := make(chan bool)	u := dl.Urls{		Chs:make(chan int , 5), // 默认同时下载5个		Ans: make(chan bool),	}	// 初始化url	go u.InitUrl(end)	if  ok := <- end; ok{       // 分发的下载线程		go func(){			for _, v := range u.Urls{				u.Chs <- 1 // 限制线程数 (每次下载缓存加1, 直到加满阻塞)				u.Wg.Add(1)				go u.Work(v)			}            u.Wg.Wait() // 等待所有分发出去的线程结束			close(u.Ans)// 否则range 会报错哦		}()              // 静静的等待每个下载完成		for  _ = range u.Ans{		}	}}

以上的线程会在某一个下载任务完成后,马上启动一新goroutine继续共5个下载的任务,

如果新需求是同时下载,并且按循序下载5个后,再启动新5个下载任务?后续更新

 

 

 

转载于:https://my.oschina.net/90design/blog/1607131

你可能感兴趣的文章
PHP语言 -- Smarty函数
查看>>
电脑配置小知识
查看>>
一些可能常用的工具函数
查看>>
The Pilots Brothers' refrigerator(简单枚举)
查看>>
JavaScript 操作符
查看>>
《构建之法》读后感
查看>>
go语言接受者的选取
查看>>
php分页
查看>>
我们失去了,我们又没有失去什么
查看>>
ORACLE Index Lookup索引访问路径总结
查看>>
SpringMVC学习指南【笔记6】JSTL标签、函数
查看>>
GPS轨迹数据集免费下载资源整理
查看>>
考研?还是直接找工作?
查看>>
ue4 蓝图物体怎么不跟着蓝图动_UE4部分蓝图
查看>>
联通4g满格但是网速慢_为什么手机4G信号明明是满格,网络却很慢,背后的真实原因?...
查看>>
bable怎么使用 eclipse_Java Web轻松学46 - Maven集成到Eclipse中
查看>>
机器人 知乎碧桂园_碧桂园机器人首降淮阳,助力城市文化旅游
查看>>
ae2020不支持的视频驱动程序_音视频PaaS平台基于Windows的抓屏技术
查看>>
图纸打印什么时候用蓝图_工程图纸为什么是蓝图?
查看>>
网页中竖的目录怎么改成横的_骨架隔墙怎么做?
查看>>