在移动交通流调查项目的一个算法分析程序中，碰到一个业务问题：用户采集上传的基站定位数据需要进行分析预处理，方案是先按预定格式解析文件并从中提取出成百上千个基站定位数据记录，并合并相同的基站点，根据获取到的基站位置信息作为参数，去请求google 基站定位 api，从而得到对应的基站定位经纬度等信息，接下来再加上华工的算法分析。

在执行华工算法分析逻辑之前，调用谷歌api这一步必需全部完成；网络请求是个耗时的过程，故对每一个请求开启单独的线程（同时请求可能数百个，这里通过Semaphore信号量来控制每次发出请求的最大数，该部分的讨论不再本话题之类）。

问题出来了，那么如何知道所有的网络请求全部完成了，可以进行下一步算法分析呢？答案是利用前面讲的ManualResetEvent来处理；于是有下面的写法

1
2
3
4
5
//针对每个线程 绑定初始化一个ManualResetEvent实例
ManualResetEvent doneEvent =new ManualResetEvent(false);
//通过ThreadPool.QueueUserWorkItem(网络请求方法HttpRequest,doneEvent ) 来开启多线程
//将等待事件一一加入事件列表

1
2
3
4
5
6
7
8
9
10
11
12
List<ManualResetEvent> listEvent =new List<ManualResetEvent>();
for(inti=0;i<请求线程数;i++){
        listEvent.Add(doneEvent);
}
//主线程等待网络请求全部完成
WaitHandle.WaitAll(listEvent.ToArray());
//....接下去的算法分析
//在网络请求方法HttpRequest的子线程中调用
doneEvent.Set();//通知主线程 本网络请求已经完成

运行好像没有问题，程序按原定计划执行；但是当线程数大于64个之后抛出异常

WaitHandles must be less than or equal to 64

原来WaitHandle.WaitAll(listEvent.ToArray()); 这里listEvent线程数不能超过64个

以前解决方法：

下面是吴建飞以前的方案：既然WaitHandle.WaitAll方法只能唤醒64个ManualResetEvent对象，那么就采用

1
List<List<ManualResetEvent>> _listLocEventList =new List<List<ManualResetEvent>>();

采用这种复杂集合；集合的每个元素也是一个集合（内部每个集合包含最大64个ManualResetEvent对象）；和上面一样 把每个线程相关的ManualResetEvent对象添加到该集合；

//主线程等待网络请求全部完成

1
2
3
4
foreach(List<ManualResetEvent> listEvent in_listLocEventList)
{
                WaitHandle.WaitAll(listEvent.ToArray());
}

该方案运用起来比较复杂，而且会导致创建大量的ManualResetEvent对象；

现在的设计目标是这种对文件的分析是多任务同时进行的，也就是说会产生的ManualResetEvent对象List<List<ManualResetEvent>>.Size() * 任务数（N个文件上传）

改进的解决方法：

原理：封装一个ManualResetEvent对象，一个计数器current，提供SetOne和WaitAll方法；

主线程调用WaitAll方法使ManualResetEvent对象等待唤醒信号；

各个子线程调用setOne方法 ，setOne每执行一次current减1，直到current等于0时表示所有子线程执行完毕 ,调用ManualResetEvent的set方法，这时主线程可以执行WaitAll之后的步骤。

目标：减少ManualResetEvent对象的大量产生和使用的简单性。

在这里我写了个封装类：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
/********************************************************************************
 * Copyright © 2001 - 2010Comit. All Rights Reserved.
 * 文件：MutipleThreadResetEvent.cs
 * 作者：杨柳
 * 日期：2010年11月13日
 * 描述：封装 ManualResetEvent ，该类允许一次等待N（N>64）个事件执行完毕
 *
 *       解决问题：WaitHandle.WaitAll(evetlist)方法最大只能等待64个ManualResetEvent事件
 * *********************************************************************************/
using System;
usingSystem.Collections.Generic;
usingSystem.Linq;
usingSystem.Text;
usingSystem.Threading;
namespaceTestMutipleThreadRestEvent
{
    /// <summary>
    ///  封装ManualResetEvent
    /// </summary>
    publicclass MutipleThreadResetEvent : IDisposable
    {
        privatereadonly ManualResetEvent done;
        privatereadonly inttotal;
        privatelong current;
        /// <summary>
        /// 构造函数
        /// </summary>
        /// <param name="total">需要等待执行的线程总数</param>
        publicMutipleThreadResetEvent(inttotal)
        {
            this.total = total;
            current = total;
            done =new ManualResetEvent(false);
        }
        /// <summary>
        /// 唤醒一个等待的线程
        /// </summary>
        publicvoid SetOne()
        {
            // Interlocked 原子操作类 ,此处将计数器减1
            if(Interlocked.Decrement(refcurrent) == 0)
            {
                //当所以等待线程执行完毕时，唤醒等待的线程
                done.Set();
            }
        }
        /// <summary>
        /// 等待所以线程执行完毕
        /// </summary>
        publicvoid WaitAll()
        {
            done.WaitOne();
        }
        /// <summary>
        /// 释放对象占用的空间
        /// </summary>
        publicvoid Dispose()
        {
            ((IDisposable)done).Dispose();
        }
    }
}

注释写的很清楚了：本质就是只通过1个ManualResetEvent 对象就可以实现同步N（N可以大于64）个线程

下面是测试用例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading;
namespaceTestMutipleThreadRestEvent
{
    /// <summary>
    /// 测试MutipleThreadResetEvent
    /// </summary>
    classProgram
    {
        staticint i = 0;
        /// <summary>
        /// 主方法
        /// </summary>
        /// <param name="args">参数</param>
        staticvoid Main(string[] args)
        {
            //假设有100个请求线程
            intnum = 100;
            //使用 MutipleThreadResetEvent
            using(var countdown = new MutipleThreadResetEvent(num))
            {
                for(int i=0;i<num;i++)
                {
                    //开启N个线程，传递MutipleThreadResetEvent对象给子线程
                    ThreadPool.QueueUserWorkItem(MyHttpRequest, countdown);
                }
                //等待所有线程执行完毕
                countdown.WaitAll();
            }
            Console.WriteLine("所有的网络请求以及完毕，可以继续下面的分析...");
            Console.ReadKey();
        }
        /// <summary>
        /// 假设的网络请求
        /// </summary>
        /// <param name="state">参数</param>
        privatestatic voidMyHttpRequest(objectstate)
        {
           // Thread.Sleep(1000);
            Console.WriteLine(String.Format("哈哈:{0}",++i));
            MutipleThreadResetEvent countdown = stateas MutipleThreadResetEvent;
            //发送信号量 本线程执行完毕
            countdown.SetOne();
        }
    }
}

输出：

      …  省略 ...  

从结果上看线程执行的完成的时间顺序是不固定的；并且只有在所有100个网络请求任务完成后，才显示可以继续下面的分析。

与上面的方案是一样的效果，但是本方案使用非常简单，出错的概念小，免去了创建大量 ManualResetEvent 对象的烦恼

该解决方案可以适用与.net framework 2.0 以上的运行时。

tips：在.net framework 4.0 中有一个CountdownEvent对象可以实现类似的功能；

不过目前公司大多数项目运行时还是基于.net framework 2.0 和 3.5

微软企业开发技术 | 移动开发（Google Android、Windows Mobile）技术| 嵌入式系统设计与开发 | JAVA开发

C#多线程之三：解决多线程编程中大并发数等待唤醒的问题相关推荐

  1. Java多线程02(线程安全、线程同步、等待唤醒机制)

    Java多线程2(线程安全.线程同步.等待唤醒机制.单例设计模式) 1.线程安全 如果有多个线程在同时运行,而这些线程可能会同时运行这段代码.程序每次运行结果和单线程运行的结果是一样的,而且其他的变量 ...

  2. java基础提升（二）：多线程、线程安全、线程状态、等待唤醒机制、线程池

    目录 一. 多线程 1.1并发与并行 1.2 线程与进程 1.3 创建线程类 1.3.1 方式一:继承Thread类 1.3.2 方式二:实现Runnable接口 1.3.3 Thread和Runna ...

  3. rust异步编程--理解并发/多线程/回调/异步/future/promise/async/await/tokio

    1. 异步编程简介 通常我们将消息通信分成同步和异步两种: 同步就是消息的发送方要等待消息返回才能继续处理其它事情 异步就是消息的发送方不需要等待消息返回就可以处理其它事情 很显然异步允许我们同时做更 ...

  4. Java-多线程-Future、FutureTask、CompletionService、CompletableFuture解决多线程并发中归集问题的效率对比

    转载声明 本文大量内容系转载自以下文章,有删改,并参考其他文档资料加入了一些内容: [小家Java]Future.FutureTask.CompletionService.CompletableFut ...

  5. 哎呀，你对高并发与多线程的解决思路了解的还挺深！

    一.大规模并发带来的挑战 在过去的工作中,我曾经面对过5w每秒的高并发秒杀功能,在这个过程中,整个Web系统遇到了很多的问题和挑战.如果Web系统不做针对性的优化,会轻而易举地陷入到异常状态.我们现在 ...

  6. 【Linux网络编程】并发服务器之多线程模型

    00. 目录 文章目录 00. 目录 01. 概述 02. 多线程服务器 03. 多线程服务器实现思路 04. 多线程服务器实现 05. 附录 01. 概述 服务器设计技术有很多,按使用的协议来分有 ...

  7. 解决多线程并发安全问题

    解决多线程的并发安全问题,java无非就是加锁,具体就是两个方法 (1) Synchronized(java自带的关键字) (2) lock 可重入锁 (可重入锁这个包java.util.concur ...

  8. 获取返回值作为变量_解决多线程间共享变量线程安全问题的大杀器——ThreadLocal...

    微信公众号:Zhongger 我是Zhongger,一个在互联网行业摸鱼写代码的打工人! 关注我,了解更多你不知道的[Java后端]打工技巧.职场经验等- 上一期,讲到了关于线程死锁.用户进程.用户线 ...

  9. 解决多线程间共享变量线程安全问题的大杀器——ThreadLocal

    上一期,讲到了关于线程死锁.用户进程.用户线程的相关知识,不记得的小伙伴可以看看:字节跳动面试官问我:你知道线程死锁吗?用户线程.守护线程的概念与区别了解吗? 这期,我们来聊一聊一个在Java并发编程 ...

  10. 基于多线程技术和自定义消息编程实现Windows 9x异步串行通信

    基于多线程技术和自定义消息编程实现Windows 9x异步串行通信 张志明 李蓉艳 王 磊 摘  要  分析了基于Windows 95/98平台上的异步串行通信程序开发方法,并结合开发实践,用C++B ...

最新文章

  1. 在虚幻UE4中不同VR头盔的FOV和分屏处理
  2. LPC43xx SGPIO Pattern Match Mode
  3. 全国计算机一级可以在手机上报名吗,全国计算机一级过的话能多次报名？
  4. Nacos自定义 namespace与group配置
  5. mybatis-plus的代码生成器
  6. Authorization object的where used列表功能，位于事务码SUIM
  7. 1910140408安装win版
  8. Python循环嵌套应用案例一则：判断丑数
  9. CString 和 char * 的相互转换
  10. bag of words matlab,Bag of words（matlab实现）
  11. scala中一些常见用法
  12. java8 merge_给老弟讲解java8中的marge()方法，一顿骚操作
  13. Mac双网卡路由设置实现内外网同时访问
  14. @DependsOn
  15. 简单两个矩阵如何用计算机运算,矩阵运算-如何用卡西欧fx-82es计算器计算矩阵和 – 手机爱问...
  16. 每个互联网人才都应该知道的SQL注入
  17. windows 2003中iis写入事件日志的问题。
  18. Java开发（七）for循环语句
  19. html source type mp4,html5 – 获取MediaSource.isTypeSupported的mime类型
  20. 2014小学计算机统计表,2014年春小学部考试成绩统计表.xls

热门文章

  1. 新加坡政府将与加美两国就网络安全问题展开合作
  2. 教学目标四个维度_教学目标很重要
  3. qt linux 程序设置字体,QT 程序更换字体方法之一
  4. mysql左连接查询时多条件的注意事项
  5. Python 获取Windows关机消息
  6. Scrapy爬虫框架的原理与实战[阳光政务爬虫项目]
  7. php fpm 关闭,php-fpm的启动、关闭、重启
  8. 软件是如何驱动硬件的，代码是怎样对计算机实现控制的？
  9. Android 跳转外部浏览器
  10. idea启动时加载完卡住的解决办法