共享内存大数据量快速进程间通讯

最近在做一个进程间频繁，数据量比较大的通讯

采用的是共享内存通讯，和生产者消费者模式。调试了几天，记录一些要点

结构如下图

注意：

1、因为是共享，如果进程B有多个对象要写数据到共享内存，每次写入计数和使用缓冲队列索引的时候都要使用全局的，如果不方便全局那也用共享内存来存储这两关键计数。

2、进程B在循环写入数据的时候加锁。

3、进程A读取缓冲队列里最新的数据，是通过读写入计数前后两次差值来确定的，如果超过了缓冲队列长度，那么就取最新的数据，同时在读完所有数据再释放锁，如果没有超过缓冲队列长度，那么直接释放锁就可以了，毕竟缓冲队列还可以再写入。

4、B进程写入计数应该避免溢出，最好大于一定的数就重新计，但这需要进程A依然可以计算出最新的数据数量。

5、进程A在读取数据的时候，如果没有数据可能会一直读取，不要忘记sleep几毫秒，这几毫秒就是通讯的最大时间，速度杠杠的。

6、用Google.Protobuf来打包和解包数据特别方便，再附上生成通讯代码的批处理

cd /d %~dp0
@echo off
for %%i in (*.proto) do protoc.exe -I=.\ --cpp_out=..\B\Proto %%i
for %%i in (*.proto) do protoc.exe -I=.\ --csharp_out=..\A\A.Proto %%i

for %%i in (*.xlsx) do .\GenerateDccConfig.exe %cd%\%%i

最后附上关键代码：https://download.csdn.net/download/gao271003105/10539093

共享内存大数据量快速进程间通讯相关推荐

进程间基于共享存储区的通信_IPC(进程间通讯)：inter process communication
管道 (1)管道是半双工的,数据只能向一个方向流动:需要双方通信时,需要建立起两个管道: (2)只能用于父子进程或者兄弟进程之间(具有亲缘关系的进程): (3)**单独构成一种独立的文件系统:**管道 ...
【Linux】-- 进程间通讯
目录进程间通讯概念的引入意义(手段) 思维构建进程间通信方式管道站在用户角度-浅度理解管道匿名管道 pipe函数站在文件描述符角度-深度理解管道管道的特点总结管道的拓展单机版的负载 ...
Excel大数据量单元格快速填充
个人简介:一个从会计转行数据分析师的三旬老汉擅长领域:数据分析.数据仓库.大数据博客内容:平时会将自己工作中遇到的问题进行归纳总结,分享给各位小伙伴,意在帮助大家少加班.不掉发,让我们相互学习,一 ...
linux open 头文件_linux下通过共享内存和mmap实现进程间通讯
前言最近在学习GNU/Linux内核,看到mmap的时候书上说: mmap/munmap接口函数是用户最常用的两个系统调用接口,无论是在用户程序中分配内存.读写大文件.链接动态库文件,还是多进程间共 ...
linux mmap实例_Linux下通过共享内存和mmap实现进程间通讯（含实例）
前言最近在学习GNU/Linux内核,看到mmap的时候书上说: mmap/munmap接口函数是用户最常用的两个系统调用接口,无论是在用户程序中分配内存.读写大文件.链接动态库文件,还是多进程间共 ...
WIN32 进程间通讯-共享内存
一.引言在Windows程序中,各个进程之间常常需要交换数据,进行数据通讯.WIN32 API提供了许多函数使我们能够方便高效的进行进程间的通讯,通过这些函数我们可以控制不同进程间的数据交换 ...
QSharedMemory共享内存实现进程间通讯(IPC)及禁止程序多开
版权声明:若无来源注明,Techie亮博客文章均为原创. 转载请以链接形式标明本文标题和地址: 本文标题:QSharedMemory共享内存实现进程间通讯(IPC)及禁止程序多开本文地址:h ...
TensorFlow和Keras解决大数据量内存溢出问题
NVIDIA DLI 深度学习入门培训 | 特设三场! 4月28日/5月19日/5月26日一天密集式学习快速带你入门阅读全文> 正文共5771个字,1张图,预计阅读时间10分钟. 内存溢出问 ...
Linux 进程间通讯（IPC）方式 ------- 共享内存
Linux 进程间通讯(IPC)方式有以下几种: 1->管道(pipe)和有名管道(fifo). 2->消息队列 3->共享内存 4->信号量 5->信号(signal) ...

共享内存大数据量快速进程间通讯

共享内存大数据量快速进程间通讯相关推荐

最新文章

热门文章