前言:最近给客户开发一个伙食费计算系统,大概需要计算2000个人的伙食。需求是按照员工的预定报餐计划对消费记录进行检查,如有未报餐有刷卡或者有报餐没刷卡的要进行一定的金额扣减等一系列规则。一开始我的想法比较简单,直接用一个for循环搞定,统计结果倒是没问题,但是计算出来太慢了需要7,8分钟。这样系统服务是报超时错误的,让人觉得有点不太爽。由于时间也不多就就先提交给用户使用了,后面逻辑又增加了,计算时间变长,整个计算一遍居然要将近10分钟了。这个对用户来说是能接收的(原来自己手算需要好几天呢),但是我自己接受不了,于是就开始优化了,怎么优化呢,用多线程呗。

一提到多线程,最先想到的是Task了,毕竟.net4.0以上Task封装了很多好用的方法。但是Task毕竟是多开一些线程去执行任务,最后整合结果,这样可以快一些,但我想更加快速一些,于是想到了另外一个对象:Parallel。之前在维护代码是确实有遇到过别人写的Parallel.Invoke,只是指定这个函数的作用是并发执行多项任务,如果遇到多个耗时的操作,他们之间又不贡献变量这个方法不错。我的情况是要并发执行一个集合,于是就用了List.ForAll 这个方法其实是拓展方法,完整的调用为:List.AsParallel().ForAll,需要先转换成支持并发的集合,等同于Parallel.ForEach,目的是对集合里面的元素并发执行一系列操作。

于是乎,把原来的foreach换成了List.AsParallel().ForAll,运行起来,果然速度惊人,不到两分钟就插入结果了,但最后却是报主键重复的错误,这个错误的原因是,由于使用了并发,这个时候变量自增,其实是在强着自增,当多个线程同时获取到了id值,都去自增然后就重复了,举个例子如下:

            int num = 1;            List<int> list = new List<int>();for (int i = 1; i <= 2000; i++)            {                list.Add(i);            }            Console.WriteLine($"num初始值为:" + num.ToString());            list.AsParallel().ForAll(n =>            {                num++;            });            Console.WriteLine($"不加锁,并发{list.Count}次后为:" + num.ToString());            Console.ReadKey();

这段代码是让一个变量执行2000次自增,正常结果应该是2001,但实际结果如下:

有经验的同学,立马能想到需要加锁了,C#内置了很多锁对象,如lock 互斥锁,Interlocked 内部锁,Monitor 这几个比较常见,lock内部实现其实就是使用了Monitor对象。对变量自增,Interlocked对象提供了,变量自增,自减、或者相加等方法,我们使用自增方法Interlocked.Increment,函数定义为:int Increment(ref int num),该对象提供原子性的变量自增操作,传入目标数值,返回或者ref num都是自增后的结果。在之前的基础上我们增加一些代码:

           num = 1;            Console.WriteLine($"num初始值为:" + num.ToString());            list.AsParallel().ForAll(n =>            {                Interlocked.Increment(ref num);            });            Console.WriteLine($"使用内部锁,并发{list.Count}次后为:" + num.ToString());            Console.ReadKey();

我们来看运行结果:

加了锁之后ID重复算是解决了,其实别高兴太早,由于正常的环境有了ID我们还有用这些ID来构建对象呢,于是又写了写代码,用集合来添加这些ID,为了更真实的模拟生产环境,我在forAll里面又加了一层循环代码如下:

            num = 1;            Random random = new Random();var total = 0;var m = new ConcurrentBag<int>();            list.AsParallel().ForAll(n =>            {var c = random.Next(1, 50);                Interlocked.Add(ref total, c);for (int i = 0; i < c; i++)                {                    Interlocked.Increment(ref num);                    m.Add(num);                }            });            Console.WriteLine($"使用内部锁,并发+内部循环{list.Count}次后为:" + num.ToString());            Console.WriteLine($"实际值为:{total + 1}");var l = m.GroupBy(n => n).Where(o => o.Count() > 1);            Console.WriteLine($"并发里面使用安全集合ConcurrentBag添加num,集合重复值:{l.Count()}个");            Console.ReadKey();

上面的代码里面我用到了线程安全集合ConcurrentBag它的命名空间是:using System.Collections.Concurrent,尽管使用了线程安全集合,但是在并发面前仍然是不安全的,到了这里其实比较郁闷了,自增加锁,安全集合内部应该也使用了锁,但还是重复了。有点说不过去了,想想多线程执行时有个上下文对象,即当多个线程同时执行任务,共享了变量他们一开始传进去的对象数值应该是相同的,由于变量自增时加了锁,所以ID是不会重复了。我猜测问题应该出在Add方法了,就是说当num值自增后还没有来得及传出去就已经执行了Add方法,故添加了重复变量。于是乎,我重新写了段代码,让ID自增和集合添加都放到锁里面:

            num = 1;            total = 0;using (var q = new BlockingCollection<int>())            {                list.AsParallel().ForAll(n =>                {var c = random.Next(1, 50);                    Interlocked.Add(ref total, c);for (int i = 0; i < c; i++)                    {// Task.Delay(100);q.Add(Interlocked.Increment(ref num));//可控//lock (objLock)//{//    num++;//    q.Add(num);//}                    }                });                q.CompleteAdding();                Console.WriteLine($"num累计值为:{total},并发之后值为:{num}");var x = q.GroupBy(n => n).Where(o => o.Count() > 1);                Console.WriteLine($"并发使用安全集合BlockingCollection+Interlocked添加num,集合重复值:{x.Count()}个");                Console.ReadKey();            }

这里我测试了另外一个线程安全的集合BlockingCollection,关于这个集合的使用请自行查找MSDN文档,上面的关键代码直接添加安全集合的返回值,可以保证集合不会重复,但其实下面的lock更适用与正式环境,因为我们添加的一般都是对象不会是基础类型数值,运行结果如下:

至此,我们的问题解决了,计算时间由原来的9分多降至110秒左右,可见Parallel的处理还是很给力的,唯一不足的是,很占CPU,执行计算后CPU达到了88%。附上计算结果:

优化前后对比

总结:C#安全集合在并发的情况下其实不一定是安全的,还是需要结合实际应用场景和验证结果为准。Parallel.ForEach在对循环数量可观的情况下是可以去使用的,如果有共享变量,一定要配合锁做同步处理。还是得慎用这个方法,如果方法内部有操作数据库的记得增加事务处理,否则就呵呵了。

出处:https://www.cnblogs.com/heweijian/p/11330282.html

版权申明:本文来源于网友收集或网友提供,如果有侵权,请转告版主或者留言,本公众号立即删除。

C# list删除 另外list里面的元素_C#并发实战Parallel.ForEach使用相关推荐

  1. python删除列表中的重复元素并保持相对顺序不变

    python删除列表中的重复元素并保持相对顺序不变 从列表中删除重复项以便所有元素都是唯一的同时保持原有相对顺序不变 对于列表我们可以使用如下方法: l1 = [1,7,7,8,5,5,4] l2 = ...

  2. python 删除列表中的指定元素

    python 删除列表中的指定元素 def delete_list(list1,ele):"""删除列表中的指定元素:param list1:原列表:param ele: ...

  3. php删除数组中指定值的元素

    php删除数组中指定值的元素 /*** 删除数组中指定值的元素* @author: ibrahim* @param array $arr 数组* @param string $val 值* @retu ...

  4. Php 删除数组后几个元素

    <?php /* * 文件分类: practice@helkbore * 删除数组后几个元素 * 整理时间 2016年2月5日10:24:42 */ $arr1 = array('aa', 'b ...

  5. java arraylist 删除回车符_2种Java删除ArrayList中的重复元素的方法

    这篇文章将给出两种从ArrayList中删除重复元素的方法,分别是使用HashSet和LinkedHashSet. ArrayList是Java中最常用的集合类型之一.它允许灵活添加多个null元素, ...

  6. php根据键值去除数组中的某个元素_php删除数组中指定值的元素的几种方法

    在一些特殊情况下,你需要删除数组中的特定值,而且要全部删除,其实方法有很多种,我们通过本文来进行讨论. 一.利用foreach和unset()函数删除数组中的特定元素 foreach($array a ...

  7. 算法:删除链表中重复的元素||

    //删除链表中重复的元素方法1:利用哈希表去重,然后遍历哈希表新建节点方法2:双指针 class Solution {public ListNode deleteDuplicates(ListNode ...

  8. 单链表删除所有值为x的元素_C/C++编程笔记:如何使用C++实现单链表?单链表的基本定义...

    如何弥补顺序表的不足之处? 第一次学习线性表一定会马上接触到一种叫做顺序表(顺序存储结构),经过上一篇的分析顺序表的优缺点是很显然的,它虽然能够很快的访问读取元素,但是在解决如插入和删除等操作的时候, ...

  9. python 删除链表中的重复元素

    | 删除链表中的重复元素 存在一个按升序排列的链表,给你这个链表的头节点 head ,请你删除所有重复的元素,使每个元素 只出现一次 . 返回同样按升序排列的结果链表. 输入:head = [1,1, ...

最新文章

  1. 【CEO赠书】《浪潮之巅》:计算机史上的人间词话
  2. 【下载】推荐一款免费的人脸识别SDK
  3. Unity 新手入门 如何理解协程 IEnumerator yield
  4. dapperpoco mysql_.NET(C#)有哪些主流的ORM框架,SqlSugar,Dapper,EF还是...
  5. Vue基础之Class和Style绑定
  6. error: style attribute '@android:attr/windowEnterAnimation' not found
  7. MongoDB 核心将支持全文搜索功能 (2.3.2)
  8. 华为云微服务应用平台服务能力业界领先,通过微服务标准首批评估
  9. Service之bindService
  10. 科大讯飞语音识别demo
  11. Hasura GraphQL 内部表结构
  12. JSON的C代码示例
  13. windows取证之镜像取证仿真步骤
  14. C++实现九宫格输入法T9密码解密
  15. [论文写作笔记] C2论文写作结构与思路 C6 让研究方法称为加分项
  16. 质疑 追寻 与成果出版——读戴德金1872年《连续性和无理数》之1
  17. 人工智能顶会AAAI 2023放榜!网易伏羲7篇论文入选
  18. 远程调用报错java.net.UnknownHostException 解决方法
  19. 嵌入式工程师的面试指南
  20. 产生调幅波的几种方法

热门文章

  1. C#正则表达式替换字符串
  2. jQuery中的函数汇总1
  3. C#中相同不同程序集存在相同的命名空间的时候的冲突解决办法
  4. 使用磁盘为Linux添加swap
  5. 创建ASM With Oracle 10g
  6. 《WCF全面解析》(下册)- 目录
  7. LVS高可用方案汇总
  8. 用SMS2003部署Windows XP SP3:SMS2003系列之十
  9. ZZULIOJ 1125: 上三角矩阵的判断
  10. 锯木棍(51Nod-2143)