踩坑日志：go并发读取文件

我的应用场景是：并发的读取一个文件（或者一个超大的文件），计算文件的hash值，
就比如：文件60G，你的内存4G，如何计算？
这个例子是不是不太可能实现：

func main() {ffff, err := os.Open("./2.txt")if err != nil {fmt.Println("读取文件失败！")}defer ffff.Close()hash := md5.New()if _, err := io.Copy(hash, ffff); err != nil {log.Fatal(err)}sum := hash.Sum(nil)fmt.Printf("%x\n", sum)
}

这是平常的方法，对于超大文件是肯定不合适的

好了，直接上代码，这是我做的，可能有点小瑕疵，待解决，大神们也可直接指点迷津～～～


import ("bufio""bytes""crypto/md5""encoding/hex""fmt""io""log""os""sync""time"
)// 多线程读取大文件 计算hash值// 分片计算的结果
var dictResult sync.Map// 是否已经读取结束
var fileEnd chan struct{}// 并发控制
var dictThread chan struct{}// 文件路径
var filePath = "./2.txt"// 分片读取大小
var readSize = 20// 并发的线程数量
var threadNum = 3func main() {dictThread = make(chan struct{}, threadNum)fileEnd = make(chan struct{})for i := 0; ; i++ {t := idictThread <- struct{}{}go readFileByByte(filePath, t*readSize-1, i)select {case <-fileEnd:goto Nextdefault:}}
Next:time.Sleep(time.Second)ret := make([]string, 0)for i := 0; ; i++ {value, ok := dictResult.LoadAndDelete(i)if !ok {break}ret = append(ret, value.(string))}r := md5.Sum([]byte(buildString(ret...)))fmt.Println(hex.EncodeToString(r[:]))
}// 按字节读取文件: 文件路径，偏移量，第几片，
func readFileByByte(filePath string, set int, pageNum int) {f, err := os.Open(filePath)if err != nil {log.Fatal(err)return}if set == -1 {set = 0}_, err = f.Seek(int64(set), io.SeekStart)if err != nil {f.Close()fmt.Println(err.Error())fileEnd <- struct{}{} // 结束了return}var buf = make([]byte, 4096)reader := bufio.NewReader(f)n, err := reader.Read(buf)f.Close()<-dictThreadif err != nil && err != io.EOF || n == 0 {fileEnd <- struct{}{} // 结束了return}// md5 计算sum := md5.Sum(buf[:n])dictResult.Store(pageNum, hex.EncodeToString(sum[:]))fmt.Println(pageNum, "==>>", hex.EncodeToString(sum[:]))return
}
func buildString(pieces ...string) string {var strBuf bytes.Bufferfor _, piece := range pieces {strBuf.WriteString(piece)}return strBuf.String()
}

踩坑日志：go并发读取文件相关推荐

小程序踩坑日志（一）
微信小程序踩坑日志起步申请账号查看AppID-"设置"-开发设置小程序的appid相当于小程序平台的一个身份验证安装开发者工具https://mp.weixin.qq.c ...
数据挖掘实战（3）——时间序列预测ARIMA模型（附踩坑日志）
文章目录 1 导包 2 数据准备 3 可视化 4 构建ARIMA模型 5 预测 6 踩坑日志 1 导包 import numpy as np import matplotlib.pyplot as p ...
opensuse 装机踩坑日志
前提:上次自己制作的centos服务器因为各种原因导致定时任务无法正常运转,另外centos自身的问题,想着趁着这次机会换一个稳如老狗的系统,从debian和opensuse中最终选择了opensus ...
git踩坑——中途才使用.gitignore文件
问题的产生最近在学习java web项目,顺便使用git和码云gitee来托管代码,一开始没有创建.gitignore文件,导致上传到很多不必要的文件,如.idea和out文件(.idea文件是使用 ...
【Unity】对Unity引用三方字体的踩坑日志
一.Unity导入三方字体导入字体文件要在项目中添加字体,必须将字体文件放在 Assets 文件夹中.然后,Unity 会自动将其导入.支持的字体格式为 TrueType 字体(.ttf 文件)和 ...
踩坑日志1----从zuulFilter到Filter
踩坑缘起: 项目里面一直在线程的上下文里面放着一些用户的信息,之前测试的时候直接放在了接口的最前面,这次有时间把中间的逻辑终于捋清楚了,涉及到了SpringCloud的zuul以及filter,把这中 ...
为什么python不报错不出结果_python的坑货ConfigParser类读取文件失败不报错
python中configparser模块(这个模块有个大坑)可以读取配置文件,当然这个配置文件的格式得按照这个模块指定的.格式如下 [CLICKHOUSE] ip = 172.20.96.78 us ...
react开发公众号踩坑日志
最近在用react开发一个公众号产品.以前没有过开发公众号的经验,在这里记录一下过程中踩过的坑. 这个项目是前后端开发的.本篇文章只站在前端的视角,希望给大家一个参考一.授权回调微信授权过程进入 ...
sideeffects没配置css也还在,webpack4踩坑配置之sideEffects, 打包文件中没有css文件
最开始先来讲一下sideEffects sideEffects sideEffects意为副作用,无副作用类似纯函数的概念(接受参数并返回值,不产生其他影响) 这里的副作用针对模块,如果一个模块单纯的 ...

踩坑日志：go并发读取文件

踩坑日志：go并发读取文件相关推荐

最新文章

热门文章