C#并发实战Parallel.ForEach使用
原文:C#并发实战Parallel.ForEach使用

前言:最近给客户开发一个伙食费计算系统,大概需要计算2000个人的伙食。需求是按照员工的预定报餐计划对消费记录进行检查,如有未报餐有刷卡或者有报餐没刷卡的要进行一定的金额扣减等一系列规则。一开始我的想法比较简单,直接用一个for循环搞定,统计结果倒是没问题,但是计算出来太慢了需要7,8分钟。这样系统服务是报超时错误的,让人觉得有点不太爽。由于时间也不多就就先提交给用户使用了,后面逻辑又增加了,计算时间变长,整个计算一遍居然要将近10分钟了。这个对用户来说是能接收的(原来自己手算需要好几天呢),但是我自己接受不了,于是就开始优化了,怎么优化呢,用多线程呗。

一提到多线程,最先想到的是Task了,毕竟.net4.0以上Task封装了很多好用的方法。但是Task毕竟是多开一些线程去执行任务,最后整合结果,这样可以快一些,但我想更加快速一些,于是想到了另外一个对象:Parallel。之前在维护代码是确实有遇到过别人写的Parallel.Invoke,只是指定这个函数的作用是并发执行多项任务,如果遇到多个耗时的操作,他们之间又不贡献变量这个方法不错。我的情况是要并发执行一个集合,于是就用了List.ForAll 这个方法其实是拓展方法,完整的调用为:List.AsParallel().ForAll,需要先转换成支持并发的集合,等同于Parallel.ForEach,目的是对集合里面的元素并发执行一系列操作。

于是乎,把原来的foreach换成了List.AsParallel().ForAll,运行起来,果然速度惊人,不到两分钟就插入结果了,但最后却是报主键重复的错误,这个错误的原因是,由于使用了并发,这个时候变量自增,其实是在强着自增,当多个线程同时获取到了id值,都去自增然后就重复了,举个例子如下:

            int num = 1;List<int> list = new List<int>();for (int i = 1; i <= 2000; i++){list.Add(i);}Console.WriteLine($"num初始值为:" + num.ToString());list.AsParallel().ForAll(n =>{num++;});Console.WriteLine($"不加锁,并发{list.Count}次后为:" + num.ToString());Console.ReadKey();

这段代码是让一个变量执行2000次自增,正常结果应该是2001,但实际结果如下:

有经验的同学,立马能想到需要加锁了,C#内置了很多锁对象,如lock 互斥锁,Interlocked 内部锁,Monitor 这几个比较常见,lock内部实现其实就是使用了Monitor对象。对变量自增,Interlocked对象提供了,变量自增,自减、或者相加等方法,我们使用自增方法Interlocked.Increment,函数定义为:int Increment(ref int num),该对象提供原子性的变量自增操作,传入目标数值,返回或者ref num都是自增后的结果。 在之前的基础上我们增加一些代码:

           num = 1;Console.WriteLine($"num初始值为:" + num.ToString());list.AsParallel().ForAll(n =>{Interlocked.Increment(ref num);});Console.WriteLine($"使用内部锁,并发{list.Count}次后为:" + num.ToString());Console.ReadKey();

我们来看运行结果:

加了锁之后ID重复算是解决了,其实别高兴太早,由于正常的环境有了ID我们还有用这些ID来构建对象呢,于是又写了写代码,用集合来添加这些ID,为了更真实的模拟生产环境,我在forAll里面又加了一层循环代码如下:

            num = 1;Random random = new Random();var total = 0;var m = new ConcurrentBag<int>();list.AsParallel().ForAll(n =>{var c = random.Next(1, 50);Interlocked.Add(ref total, c);for (int i = 0; i < c; i++){Interlocked.Increment(ref num);m.Add(num);}});Console.WriteLine($"使用内部锁,并发+内部循环{list.Count}次后为:" + num.ToString());Console.WriteLine($"实际值为:{total + 1}");var l = m.GroupBy(n => n).Where(o => o.Count() > 1);Console.WriteLine($"并发里面使用安全集合ConcurrentBag添加num,集合重复值:{l.Count()}个");Console.ReadKey();

上面的代码里面我用到了线程安全集合ConcurrentBag<T>它的命名空间是:using System.Collections.Concurrent,尽管使用了线程安全集合,但是在并发面前仍然是不安全的,到了这里其实比较郁闷了,自增加锁,安全集合内部应该也使用了锁,但还是重复了。有点说不过去了,想想多线程执行时有个上下文对象,即当多个线程同时执行任务,共享了变量他们一开始传进去的对象数值应该是相同的,由于变量自增时加了锁,所以ID是不会重复了。我猜测问题应该出在Add方法了,就是说当num值自增后还没有来得及传出去就已经执行了Add方法,故添加了重复变量。于是乎,我重新写了段代码,让ID自增和集合添加都放到锁里面:

            num = 1;total = 0;using (var q = new BlockingCollection<int>()){list.AsParallel().ForAll(n =>{var c = random.Next(1, 50);Interlocked.Add(ref total, c);for (int i = 0; i < c; i++){// Task.Delay(100);q.Add(Interlocked.Increment(ref num));//可控//lock (objLock)//{//    num++;//    q.Add(num);//}
                    }});q.CompleteAdding();Console.WriteLine($"num累计值为:{total},并发之后值为:{num}");var x = q.GroupBy(n => n).Where(o => o.Count() > 1);Console.WriteLine($"并发使用安全集合BlockingCollection+Interlocked添加num,集合重复值:{x.Count()}个");Console.ReadKey();}

这里我测试了另外一个线程安全的集合BlockingCollection,关于这个集合的使用请自行查找MSDN文档,上面的关键代码直接添加安全集合的返回值,可以保证集合不会重复,但其实下面的lock更适用与正式环境,因为我们添加的一般都是对象不会是基础类型数值,运行结果如下:

至此,我们的问题解决了,计算时间由原来的9分多降至110秒左右,可见Parallel的处理还是很给力的,唯一不足的是,很占CPU,执行计算后CPU达到了88%。附上计算结果:

优化前后对比

总结:C#安全集合在并发的情况下其实不一定是安全的,还是需要结合实际应用场景和验证结果为准。Parallel.ForEach在对循环数量可观的情况下是可以去使用的,如果有共享变量,一定要配合锁做同步处理。还是得慎用这个方法,如果方法内部有操作数据库的记得增加事务处理,否则就呵呵了。

posted on 2019-08-12 09:04 NET未来之路 阅读(...) 评论(...) 编辑 收藏

转载于:https://www.cnblogs.com/lonelyxmas/p/11337774.html

C#并发实战Parallel.ForEach使用相关推荐

  1. C# list删除 另外list里面的元素_C#并发实战Parallel.ForEach使用

    前言:最近给客户开发一个伙食费计算系统,大概需要计算2000个人的伙食.需求是按照员工的预定报餐计划对消费记录进行检查,如有未报餐有刷卡或者有报餐没刷卡的要进行一定的金额扣减等一系列规则.一开始我的想 ...

  2. C# 多线程 Parallel.For 和 For 谁的效率高?那么 Parallel.ForEach 和 ForEach 呢?

    还是那句话:十年河东,十年河西,莫欺少年穷. 今天和大家探讨一个问题:Parallel.For 和 For 谁的效率高呢? 从CPU使用方面而言,Parallel.For 属于多线程范畴,可以开辟多个 ...

  3. java高并发实战Netty+协程(Fiber)|系列1|事件驱动模式和零拷贝

    今天开始写一些高并发实战系列. 本系列主要讲两大主流框架: Netty和Quasar(java纤程库) 先介绍netty吧,netty是业界比较成熟的高性能异步NIO框架. 简单来说,它就是对NIO2 ...

  4. C# Parellel.For 和 Parallel.ForEach

    简介:任务并行库(Task Parellel Library)是BCL的一个类库,极大的简化了并行编程. 使用任务并行库执行循环 C#当中我们一般使用for和foreach执行循环,有时候我们呢的循环 ...

  5. 任务并行库(Task Parellel Library)parallel.for parallel.foreach、List、ConcurrentBag 并行集合、线程安全结合

    普通的for .foreach 都是顺序依次执行的. C#当中我们一般使用for和foreach执行循环,有时候我们呢的循环结构每一次的迭代需要依赖以前一次的计算或者行为.但是有时候则不需要.如果迭代 ...

  6. 03 重修C++之并发实战3.5-3.8(3end)

    上一篇:03 重修C++之并发实战3.3-3.4 03 重修C++之并发实战3.5-3.8(3end) 文章目录 03 重修C++之并发实战3.5-3.8(3end) 3.5 用 std::uniqu ...

  7. 高并发实战2---手写计算器缓存

    对于初级版本(高并发实战1)的提升一级优化 不直接缓存计算结果,而是缓存计算任务(future可以阻塞线程),当没有从缓存中读到正在执行计算的任务的时候,直接阻塞等待正在执行的任务计算的结果,然后读取 ...

  8. [译]何时使用 Parallel.ForEach,何时使用 PLINQ

    原作者: Pamela Vagata, Parallel Computing Platform Group, Microsoft Corporation 原文pdf:http://download.c ...

  9. java后验条件_JAVA并发实战学习笔记——3,4章~

    JAVA并发实战学习笔记 第三章 对象的共享 失效数据: java程序实际运行中会出现①程序执行顺序对打乱:②数据对其它线程不可见--两种情况 上述两种情况导致在缺乏同步的程序中出现失效数据这一现象, ...

最新文章

  1. 【css】页面出现两个滚动条以及只有一半页面显示内容的解决方法
  2. python与php8-别再盲目学 Python 了!
  3. 《大话数据结构》第9章 排序 9.7 堆排序(下)
  4. iis 重启 (三种方法)
  5. HDU 1506 Largest Rectangle in a Histogram(dp、单调栈)
  6. php apc 失效时间,PHP APC无法正常工作
  7. mysql通用日志不打印_解决logback不打印mybatis的SQL日志的问题
  8. 搭建个人博客,还有比这更快的?
  9. OpenGL ES 2 o 初探
  10. Gridview表格控件
  11. JSON格式错误报JSON parse error:
  12. 最新版c语言经典习题100例(最全面)
  13. JS学习3-Js运算符优先级
  14. 多国语言点阵字库合并!!!
  15. ThinkPad如何禁用触摸板
  16. USG6310恢复管理员密码
  17. postman 一直Sending
  18. Android多线程理解
  19. CN_计算机网络体系结构概念@IP数据报(分组)结构@各层报文(PDU)之间的关系@PDU协议数据单元
  20. C/C++新手入门教程:傻瓜都会的VS2013使用教程,成为程序员的第一步

热门文章

  1. 关于SAP UI5数据绑定我的一些原创内容
  2. 如何在ABAP Netweaver和CloudFoundry里记录并查看日志
  3. ps怎么一下选中多个图层_超实用!50个非常实用的PS快捷键命令大全分享
  4. python列表函数方法_与Python列表相关的函数
  5. sortable 拖拽时互换目标的位置_双端通用型JS拖拽插件的封装与应用
  6. 单张表超过30个字段_拉链表
  7. python虚拟cpu性能_python实现可视化动态CPU性能监控
  8. 平衡二叉树Python解法
  9. python 霍夫直线变换_OpenCV-Python 霍夫线变换 | 三十二
  10. bread是可数还是不可数_凡是规则,皆有例外——规则的可数名词复数,真的规则吗?...