8.8 示例: 并发的目录遍历

知识点

1.利用并发遍历并计算文件大小
2.利用select，优化打印文件大小
3.利用channel设置最大信号量，来防止打开文件过多

代码

func test_concurrent_directory()  {// Determine the initial directories.//------33333计算大小roots := []string{"/Users"}if len(roots) == 0 {roots = []string{"."}}// Traverse the file tree.fileSizes := make(chan int64)//go func() {//  for _, root := range roots {//      walkDir(root, fileSizes)//  }//  close(fileSizes)//}()//------44444计算大小优化/*因为磁盘系统并行限制，为了优化使用sync.WaitGroup (§8.5)来对仍旧活跃的walkDir调用进行计数，另一个goroutine会在计数器减为零的时候将fileSizes这个channel关闭*/var n sync.WaitGroupfor _, root := range roots {n.Add(1)go walkDir_group(root, &n, fileSizes)}go func() {n.Wait()close(fileSizes)}()// Print the results.var nfiles, nbytes int64//------11111累加大小打印//for size := range fileSizes {//  nfiles++//  nbytes += size//}//printDiskUsage(nfiles, nbytes)//------22222累加大小打印优化/*主goroutine现在使用了计时器来每500ms生成事件，然后用select语句来等待文件大小的消息来更新总大小数据，或者一个计时器的事件来打印当前的总大小数据*/// Print the results periodically.var tick <-chan time.Timetick = time.Tick(500 * time.Millisecond)
loop:for {select {case size, ok := <-fileSizes:if !ok {break loop // fileSizes was closed}nfiles++nbytes += sizecase <-tick:printDiskUsage(nfiles, nbytes)}}printDiskUsage(nfiles, nbytes) // final totals
}
/*练习 8.9： 编写一个du工具，每隔一段时间将root目录下的目录大小计算并显示出来
*/
func test_exerise89(timeS time.Duration, filep string)  {for {/*这一章，其实已经为我们写好了这个练习，只需要吧最优化的部分拿出来即可*/roots := []string{filep}if len(roots) == 0 {roots = []string{"."}}// Traverse the file tree.fileSizes := make(chan int64)var n sync.WaitGroupfor _, root := range roots {n.Add(1)go walkDir_group(root, &n, fileSizes)}go func() {n.Wait()close(fileSizes)}()var nfiles, nbytes int64for size := range fileSizes {nfiles++nbytes += size}//root目录下的目录大小计算并显示出来fmt.Println(filep + "  fileSizes")printDiskUsage(nfiles, nbytes)//每隔一段时间time.Sleep(timeS)}
}func printDiskUsage(nfiles, nbytes int64) {fmt.Printf("%d files  %.1f GB\n", nfiles, float64(nbytes)/1e9)
}
func walkDir(dir string, fileSizes chan<- int64) {for _, entry := range dirents(dir) {if entry.IsDir() {subdir := filepath.Join(dir, entry.Name())walkDir(subdir, fileSizes)} else {fileSizes <- entry.Size()}}
}
func walkDir_group(dir string, n *sync.WaitGroup, fileSizes chan<- int64) {defer n.Done()for _, entry := range dirents(dir) {if entry.IsDir() {n.Add(1)subdir := filepath.Join(dir, entry.Name())go walkDir_group(subdir, n, fileSizes)} else {fileSizes <- entry.Size()}}
}
/*由于这个程序在高峰期会创建成百上千的goroutine，我们需要修改dirents函数，用计数信号量来阻止他同时打开太多的文件
*/
// sema is a counting semaphore for limiting concurrency in dirents.
var sema = make(chan struct{}, 20)
func dirents(dir string) []os.FileInfo {sema <- struct{}{}        // acquire tokendefer func() { <-sema }() // release tokenentries, err := ioutil.ReadDir(dir)if err != nil {fmt.Fprintf(os.Stderr, "du1: %v\n", err)return nil}return entries
}

`备注`

《Go 语言圣经》

学习记录所使用的GO版本是1.8
学习记录所使用的编译器工具为GoLand
学习记录所使用的系统环境为Mac os
学习者有一定的C语言基础

代码仓库

Go 语言圣经 8.8 示例: 并发的目录遍历相关推荐

Go语言圣经 - 第8章 Goroutines 和 Channels - 8.8 示例：并发的目录遍历
第8章 Goroutines 和 Channels Go语言中的并发程序可以用两种手段来实现:goroutine 和 channel,其支持顺序通信进程,或被简称为CSP,CSP是一种并发编程模型,在 ...
《Go语言圣经》学习笔记第八章 Groroutines和Channels
<Go语言圣经>学习笔记第八章 Groroutines和Channels 目录 Goroutines 实例:并发的Clock服务实例:并发的Echo服务 Channels 并发的循环 ...
《Go语言圣经》学习笔记第九章基于共享变量的并发
<Go语言圣经>学习笔记第九章基于共享变量的并发目录竞争条件 sync.Mutex互斥锁 syn.RWMutex读写锁内存同步 syn.Once初始化竞争条件检测示例:并发的 ...
Go基于共享变量的并发原理及实例【Go语言圣经笔记】
基于共享变量的并发前一章我们介绍了一些使用goroutine和channel这样直接而自然的方式来实现并发的方法.然而这样做我们实际上回避了在写并发代码时必须处理的一些重要而且细微的问题(笔者注:一 ...
《Go语言圣经》学习笔记第十一章测试
<Go语言圣经>学习笔记第十一章测试目录 go test 测试函数测试覆盖率基准测试剖析示例函数注:学习<Go语言圣经>笔记,PDF点击下载,建议看书. Go语 ...
《Go语言圣经》学习笔记第十章包和工具
<Go语言圣经>学习笔记第十章包和工具目录包简介导入路径包声明导入声明包的匿名导入包和命名工具注:学习<Go语言圣经>笔记,PDF点击下载,建议看书. G ...
《Go语言圣经》学习笔记第一章 Go语言入门
Go语言圣经学习笔记第一章 Go语言入门目录 Hello, World 命令行参数查找重复的行 GIF动画获取URL 并发获取多个URL Web服务本章要点注:学习<Go语言圣经&g ...
《Go语言圣经》学习笔记第七章接口
<Go语言圣经>学习笔记第七章接口目录接口是合约接口类型实现接口的条件 flag.Value接口接口值 sort.Interface接口 http.Handle接口 erro ...
《Go语言圣经》第一章 - 读书笔记
<Go语言圣经>第一章 - 读书笔记第一章 Go语言入门 01 Hello World 02 命令行参数练习练习1.1 练习1.2: 练习1.3: 03 查找重复的行例子运行 du ...

Go 语言圣经 8.8 示例: 并发的目录遍历

8.8 示例: 并发的目录遍历

知识点

代码

`备注`

Go 语言圣经 8.8 示例: 并发的目录遍历相关推荐

最新文章

热门文章