用long类型让我出了次生产事故,写代码还是要小心点
昨天发现线上试跑期的一个程序挂了,平时都跑的好好的,查了下日志是因为昨天运营跑了一家美妆top级淘品牌店,会员量近千万,一下子就把128G的内存给爆了,当时并行跑了二个任务,没辙先速写一段代码限流,后面再做进一步优化。
一:背景
1. 背景介绍
因为是自己写的代码,所以我知道问题出现在哪里,如果大家看过我之前写的文章应该知道我用全内存跑了很多模型对用户打标签,一个模型就是一组定向的筛选条件,而为了加速处理,我会原子化筛选条件,然后一边查询一边缓存原子化条件获取的人数,后面的模型如果命中了前面模型的原子化条件,那么可以直接从缓存中读取它的人数即可,这也是动态规划的思想~ ,如果不明白我来画张图。
从上面图可以看到,在计算模型2的时候,条件1的人数可以直接从模型1下的条件1处获取,模型三下的2,5的人数也可以直接从模型1和2处获取,这样就大大加速的处理速度。
2. 找原因
刚才提到了缓存人数,我也不知道为什么用了这么一个类型,如下代码:
/// <summary>/// 缓存原子人群/// key: 原子化条件/// value: 人数集合/// </summary>public ConcurrentDictionary<string, List<long>> CachedCrowds { get; set; } = new ConcurrentDictionary<string, List<long>>();
我说的是里面的List\,我居然用了long类型存储customerID,可能是看了这个项目先祖原先定义的long才跟风成long,????????????,谁家店有数不尽的客户,国家才14亿人呢,而一个long占用8个字节,明显是一种浪费。
二:解决方案
1. 将long转成int
人都是懒的,能少改点代码就少改点,省的背锅,好事不出门,坏事传千里,所以这里用int表示就足够了,应该能省一半的空间对不对,接下来为了演示,在List\ 和 List\ 中分别灌入 500w 客户ID,代码如下:
public static void Main(string[] args){var rand = new Random();List<int> intCustomerIDList = Enumerable.Range(1, 5000000).OrderBy(m => rand.Next(0, 100000)).Take(5000000).ToList();List<long> longCustomerIDList = Enumerable.Range(1, 5000000).OrderBy(m => rand.Next(0, 100000)).Take(5000000).Select(m => (long)m).ToList();Console.WriteLine("处理完毕...");Console.Read();}
接下来用windbg看一下他们在堆中各占多少内存。
~0s -> !clrstack -l -> !dumpobj 从主线程找到List\和List\ 的局部变量,然后查看size。
0:000> ~0s
ntdll!ZwReadFile+0x14:
00007ff8`fea4aa64 c3 ret
0:000> !clrstack -l
OS Thread Id: 0x5b70 (0)Child SP IP Call Site
00000015c37feed0 00007ff889e60b9c ConsoleApp2.Program.Main(System.String[]) [C:\dream\Csharp\ConsoleApp1\ConsoleApp2\Program.cs @ 35]LOCALS:0x00000015c37fef90 = 0x0000014ad7c12d880x00000015c37fef88 = 0x0000014ad7c130600x00000015c37fef80 = 0x0000014ad7c3343800000015c37ff1a8 00007ff8e9396c93 [GCFrame: 00000015c37ff1a8]
0:000> !do 0x0000014ad7c13060
Name: System.Collections.Generic.List`1[[System.Int32, mscorlib]]
MethodTable: 00007ff8e7aaa068
EEClass: 00007ff8e7c0b008
Size: 40(0x28) bytes
File: C:\WINDOWS\Microsoft.Net\assembly\GAC_64\mscorlib\v4.0_4.0.0.0__b77a5c561934e089\mscorlib.dll
Fields:MT Field Offset Type VT Attr Value Name
00007ff8e7a98538 400189e 8 System.Int32[] 0 instance 0000014af02d1020 _items
00007ff8e7a985a0 400189f 18 System.Int32 1 instance 5000000 _size
00007ff8e7a985a0 40018a0 1c System.Int32 1 instance 5000000 _version
00007ff8e7a95dd8 40018a1 10 System.Object 0 instance 0000000000000000 _syncRoot
00007ff8e7a98538 40018a2 0 System.Int32[] 0 shared static _emptyArray>> Domain:Value dynamic statics NYI 0000014ad61166c0:NotInit <<
0:000> !do 0000014af02d1020
Name: System.Int32[]
MethodTable: 00007ff8e7a98538
EEClass: 00007ff8e7c05918
Size: 33554456(0x2000018) bytes
Array: Rank 1, Number of elements 8388608, Type Int32 (Print Array)
Fields:
None0:000> !do 0x0000014ad7c33438
Name: System.Collections.Generic.List`1[[System.Int64, mscorlib]]
MethodTable: 00007ff8e7aad2a0
EEClass: 00007ff8e7c0bd70
Size: 40(0x28) bytes
File: C:\WINDOWS\Microsoft.Net\assembly\GAC_64\mscorlib\v4.0_4.0.0.0__b77a5c561934e089\mscorlib.dll
Fields:MT Field Offset Type VT Attr Value Name
00007ff8e7aa6c08 400189e 8 System.Int64[] 0 instance 0000014a80001020 _items
00007ff8e7a985a0 400189f 18 System.Int32 1 instance 5000000 _size
00007ff8e7a985a0 40018a0 1c System.Int32 1 instance 5000000 _version
00007ff8e7a95dd8 40018a1 10 System.Object 0 instance 0000000000000000 _syncRoot
00007ff8e7aa6c08 40018a2 0 System.Int64[] 0 shared static _emptyArray>> Domain:Value dynamic statics NYI 0000014ad61166c0:NotInit <<
0:000> !do 0000014a80001020
Name: System.Int64[]
MethodTable: 00007ff8e7aa6c08
EEClass: 00007ff8e7c09e50
Size: 67108888(0x4000018) bytes
Array: Rank 1, Number of elements 8388608, Type Int64 (Print Array)
Fields:
None
仔细看上图,在主线程的堆栈中找到了三个变量,后两个变量就是我们的List\ 和 List\,分别是
Size: 33554456(0x2000018) bytes
=> 33554456/1024/1024 = 32M
Size:67108888(0x4000018) bytes
=> 67108888/1024/1024 = 64M
以后可以跟别人吹牛了,我知道500w个int占用是32M内存,虽然内存空间优化了一半,但没有本质性的优化,还得继续往上挖,否则同时跑4个任务又要把内存给爆掉了。。。
2. 使用bitarray
我们在学习数据结构的时候,相信很多人都学习过bitmap,刚好原子化的筛选条件获取的人数众多,使用bitmap刚好满足我的业务需求,如果不知道bitmap我简单解释一下。
<1 style="box-sizing: border-box;"> 原理解释
我们都知道一个int是4个字节。也就是4byte,也就是32bit,画成图就是32个格子,如下所示:
默认情况下32个格子表示一个int是不是有点浪费,其实32个格子可以放置32个数字(1-32)。比如1放在第一个格子里,3放在第三个格子里。。。32放在第32个格子里,那么两个int就可以存放1-64个数字,也就是说理想情况下可以优化空间32倍,思维一定要反转一下,把数字作为数组的下标,因为是bit,所以0,1两种状态刚好可以表示当前格子是否已经被设置了,1表示已设置,0表示未设置,好好品味一下,如果还是不明白,可以参考我八年前的文章:
经典算法题每日演练——第十一题 Bitmap算法
在C#中已经帮我们设置好了一个BitArray类,结合我刚才讲得,大家好好品味一下bitarray如何向各自格子中设置值的,底层还是用m_array承载,它其实是一个int[]。
public void Set(int index, bool value){if (value){m_array[index / 32] |= 1 << index % 32;}else{m_array[index / 32] &= ~(1 << index % 32);}_version++;
}public bool Get(int index){return (m_array[index / 32] & (1 << index % 32)) != 0;
}
<2 style="box-sizing: border-box;"> 查看内存占用
接下来把List\ 中的数据灌入到bitArray中看看,先上一下代码:
public static void Main(string[] args){var rand = new Random();List<int> intCustomerIDList = Enumerable.Range(1, 5000000).OrderBy(m => rand.Next(0, 100000)).Take(5000000).ToList();BitArray bitArray = new BitArray(intCustomerIDList.Max() + 1);foreach (var customerID in intCustomerIDList){bitArray[customerID] = true;}Console.WriteLine("处理完毕...");Console.Read();}
然后抓一下dump文件,用windbg看一下内存占用。
0:000> !do 0x0000026e4d0332b8
Name: System.Collections.BitArray
MethodTable: 00007ff8e7a89220
EEClass: 00007ff8e7c01bc0
Size: 40(0x28) bytes
File: C:\WINDOWS\Microsoft.Net\assembly\GAC_64\mscorlib\v4.0_4.0.0.0__b77a5c561934e089\mscorlib.dll
Fields:MT Field Offset Type VT Attr Value Name
00007ff8e7a98538 4001810 8 System.Int32[] 0 instance 0000026e5dfd9bd8 m_array
00007ff8e7a985a0 4001811 18 System.Int32 1 instance 5000001 m_length
00007ff8e7a985a0 4001812 1c System.Int32 1 instance 5000000 _version
00007ff8e7a95dd8 4001813 10 System.Object 0 instance 0000000000000000 _syncRoot
0:000> !DumpObj /d 0000026e5dfd9bd8
Name: System.Int32[]
MethodTable: 00007ff8e7a98538
EEClass: 00007ff8e7c05918
Size: 625028(0x98984) bytes
Array: Rank 1, Number of elements 156251, Type Int32 (Print Array)Fields:None
从图中可以看到,没错,就是bitArray类型,从Size中可以看到:
Size: 625028(0x98984) bytes
=> 625028/1024/1024 = 0.59M
看到没有,这个就????????了,由最初的64M优化到了0.6M,简直不要太爽,看到这么小的占用量,我感到枯燥而乏味,哈哈,这下并行跑几十家不怕了,这里要提醒一下,如果客户数少并且数字还大,就不要用bitArray啦,反而浪费空间,当然数据量小怎么用也无所谓。
三:总结
跑小店铺的时候代码怎么写都行,数据量大了到处都是坑,你的场景也总有优化的办法~
用long类型让我出了次生产事故,写代码还是要小心点相关推荐
- Bootstrap实现弹出框和提示框效果代码
一.Bootstrap弹出框 使用过JQuery UI应该知道,它里面有一个dialog的弹出框组件,功能也很丰富.与jQuery UI的dialog类似,Bootstrap里面也内置了弹出框组件.打 ...
- 腾讯 Code Review 规范出炉,你还敢乱写代码?
前言 作为公司代码委员会 golang 分会的理事,我 review 了很多代码,看了很多别人的 review 评论.发现不少同学 code review 与写出好代码的水平有待提高.在这里,想分享一 ...
- 腾讯 Code Review 规范出炉!你还敢乱写代码??
点击上方"Java基基",选择"设为星标" 做积极的人,而不是积极废人! 源码精品专栏 原创 | Java 2020 超神之路,很肝~ 中文详细注释的开源项目 ...
- 腾讯万字Code Review规范出炉!别再乱写代码了
本文经公众号:腾讯技术工程(ID:Tencent_TEG)授权转载,如需转载请联系出处. 作者:cheaterlin,腾讯 PCG 后台开发工程师 前言 作为公司代码委员会 golang 分会的理事, ...
- JS组件Bootstrap实现弹出框和提示框效果代码
前言:对于Web开发人员,弹出框和提示框的使用肯定不会陌生,比如常见的表格新增和编辑功能,一般常见的主要有两种处理方式:行内编辑和弹出框编辑.在增加用户体验方面,弹出框和提示框起着重要的作用,如果你的 ...
- migo获取header sap_SAP Migo增强 105时通过提货单号自动带出批次和生产日期
SAP Migo增强 105时通过提货单号自动带出批次和生产日期 实现功能1:在MVT103时录入提货单(送货单),自动查询类表是否存在送货单,如果不存在,提示录入错误. 实现功能2:在105时,根据 ...
- 如何写出同事看不懂的Java代码?
壹.瞒天过海 我打赌你肯定想不到,有人居然会在注释里下了毒.看看下面的代码,简单到main方法中只有一行注释. public static void main(String[] args) {// \ ...
- 没有几十年功力,写不出这一行“看似无用”的代码!!
这篇文章要从一个奇怪的注释说起,就是下面这张图: 我们可以不用管具体的代码逻辑,只是单单看这个 for 循环. 在循环里面,专门有个变量 j,来记录当前循环次数. 第一次循环以及往后每 1000 次循 ...
- c语言迷宫闯关游戏大全,C语言写出的迷宫闯关游戏代码.doc
C语言写出的迷宫闯关游戏代码 C语言写出的迷宫闯关游戏代码: #include #include #define LEFT 75 #define RIGHT 77 #define UPPER 72 # ...
最新文章
- 智能车竞赛技术报告 | 全向行进组 - 哈尔滨工业大学 - 紫丁香四队
- mysql 级联同步不成功_MySQL级联复制的同步问题(一)
- renpy 如何执行2个action_如何解决工作中遇到问题丨2个思考方式、2个技巧和1个解决系统...
- 基于linux-2.6.35的class_create(),device_create解析
- C/C++内存分配方式 .
- 模拟器genymotion的安装与配置
- SAP UI5 初学者教程之十二 - 使用 CSS 类对 UI 进行进一步美化试读版
- Linux下的一些简单网络配置命令介绍
- jdbc存储过程mysql_使用JDBC操作存储过程
- 《Algorithms》—— 链表实现栈,队列,背包
- 软件项目需求调研报告模板下载_强烈推荐:一个软件,即可搞定所有方案报价工作...
- linux目录结构全解,Linux目录结构详解(最全最详细版)
- discuz论坛快速登录、分享帐号一键登录方法
- 前端js正则验证大全(一套完整的正则验证解决方案)@莫成尘
- 【沐风老师】教你在3dMax中使用Greeble插件结合变形修改器建模
- 夜神模拟器的安装和使用
- 飞行棋java 30kb,飞行棋棋盘
- juniper官网相关网址
- asp之小旋风服务器
- 我的世界服务器清道夫配置文件,清道夫环保网分享:废液焚烧炉烟气处理标准配置...