转载请注明出处哈:http://carlosfu.iteye.com/blog/2254154


 一、背景: 选择合适的使用场景
   很多时候Redis被误解并乱用了,造成的Redis印象:耗内存、价格成本很高:
   1. 为了“赶时髦”或者对于Mysql的“误解”在一个并发量很低的系统使用Redis,将原来放在Mysql数据全部放在Redis中。
     ----(Redis比较适用于高并发系统,如果是一些复杂Mis系统,用Redis反而麻烦,因为单从功能讲Mysql要更为强大,而且Mysql的性能其实已经足够了。)
   2. 觉得Redis就是个KV缓存
     -----(Redis支持多数据结构,并且具有很多其他丰富的功能)
   3. 喜欢做各种对比,比如Mysql, Hbase, Redis等等
    -----(每种数据库都有自己的使用场景,比如Hbase吧,我们系统的个性化数据有1T,此时放在Redis根本就不合适,而是将一些热点数据放在Redis)
    总之就是在合适的场景,选择合适的数据库产品。
  附赠两个名言:
Evan Weaver, Twitter, March 2009 写道
Everything runs from memory in Web 2.0!
Tim Gray 写道
Tape is Dead, Disk is Tape, Flash is Disk, RAM Locality is king.
(磁带已死,磁盘是新磁带,闪存是新磁盘,随机存储器局部性是为王道)
二、一次string转化为hash的优化
1. 场景:
    用户id: userId,
    用户微博数量:weiboCount    
userId(用户id) weiboCount(微博数)
1 2000
2

10

3

288

.... ...
1000000 1000
 
2. 实现方法:
(1) 使用Redis字符串数据结构, userId为key, weiboCount作为Value
(2) 使用Redis哈希结构,hashkey只有一个, key="allUserWeiboCount",field=userId,fieldValue= weiboCount
(3) 使用Redis哈希结构,  hashkey为多个, key=userId/100, field=userId%100, fieldValue= weiboCount
前两种比较容易理解,第三种方案解释一下:每个hashKey存放100个hash-kv,field=userId%100,也就是
userId hashKey field
1 0 1
2 0

2

3 0

3

... .... ...
99 0 99
100 1 0
101 1 1
.... ... ...
9999 99 99
100000 1000 0

注意:

为了排除共享对象的问题,在真实测试时候所有key,field,value都用字符串类型。

3. 获取方法:

Java代码  
  1. #获取userId=5003用户的微博数
  2. (1) get u:5003
  3. (2) hget allUser u:5003
  4. (3) hget u:50 f:3

4. 内存占用量对比(100万用户 userId u:1~u:1000000)

Java代码  
  1. #方法一 Memory
  2. used_memory:118002640
  3. used_memory_human:112.54M
  4. used_memory_rss:127504384
  5. used_memory_peak:118002640
  6. used_memory_peak_human:112.54M
  7. used_memory_lua:36864
  8. mem_fragmentation_ratio:1.08
  9. mem_allocator:jemalloc-3.6.0
  10. ---------------------------------------------------
  11. #方法二 Memory
  12. used_memory:134002968
  13. used_memory_human:127.80M
  14. used_memory_rss:144261120
  15. used_memory_peak:134002968
  16. used_memory_peak_human:127.80M
  17. used_memory_lua:36864
  18. mem_fragmentation_ratio:1.08
  19. mem_allocator:jemalloc-3.6.0
  20. --------------------------------------------------------
  21. #方法三 Memory
  22. used_memory:19249088
  23. used_memory_human:18.36M
  24. used_memory_rss:26558464
  25. used_memory_peak:134002968
  26. used_memory_peak_human:127.80M
  27. used_memory_lua:36864
  28. mem_fragmentation_ratio:1.38
  29. mem_allocator:jemalloc-3.6.0

那么为什么第三种能少那么多内存呢?之前有人说用了共享对象的原因,现在我将key,field,value全部都变成了字符串,仍然还是节约很多内存。

之前我也怀疑过是hashkey,field的字节数少造成的,但是我们下面通过一个实验看就清楚是为什么了。当我将hash-max-ziplist-entries设置为2并且重启后,所有的hashkey都变为了hashtable编码。

同时我们看到了内存从18.36M变为了122.30M,变化还是很大的。

Java代码  
  1. 127.0.0.1:8000> object encoding u:8417
  2. "ziplist"
  3. 127.0.0.1:8000> config set hash-max-ziplist-entries 2
  4. OK
  5. 127.0.0.1:8000> debug reload
  6. OK
  7. (1.08s)
  8. 127.0.0.1:8000> config get hash-max-ziplist-entries
  9. 1) "hash-max-ziplist-entries"
  10. 2) "2"
  11. 127.0.0.1:8000> info memory
  12. # Memory
  13. used_memory:128241008
  14. used_memory_human:122.30M
  15. used_memory_rss:137662464
  16. used_memory_peak:134002968
  17. used_memory_peak_human:127.80M
  18. used_memory_lua:36864
  19. mem_fragmentation_ratio:1.07
  20. mem_allocator:jemalloc-3.6.0
  21. 127.0.0.1:8000> object encoding u:8417
  22. "hashtable"

内存使用量:

5. 导入数据代码(不考虑代码优雅性,单纯为了测试,勿喷)
注意:

为了排除共享对象的问题,这里所有key,field,value都用字符串类型。

Java代码  
  1. package com.carlosfu.redis;
  2. import java.util.ArrayList;
  3. import java.util.HashMap;
  4. import java.util.List;
  5. import java.util.Map;
  6. import java.util.Random;
  7. import org.junit.Test;
  8. import redis.clients.jedis.Jedis;
  9. /**
  10. * 一次string-hash优化
  11. *
  12. * @author carlosfu
  13. * @Date 2015-11-8
  14. * @Time 下午7:27:45
  15. */
  16. public class TestRedisMemoryOptimize {
  17. private final static int TOTAL_USER_COUNT = 1000000;
  18. private final static String HOST = "127.0.0.1";
  19. private final static int PORT = 6379;
  20. /**
  21. * 纯字符串
  22. */
  23. @Test
  24. public void testString() {
  25. int mBatchSize = 2000;
  26. Jedis jedis = null;
  27. try {
  28. jedis = new Jedis(HOST, PORT);
  29. List<String> kvsList = new ArrayList<String>(mBatchSize);
  30. for (int i = 1; i <= TOTAL_USER_COUNT; i++) {
  31. String key = "u:" + i;
  32. kvsList.add(key);
  33. String value = "v:" + i;
  34. kvsList.add(value);
  35. if (i % mBatchSize == 0) {
  36. System.out.println(i);
  37. jedis.mset(kvsList.toArray(new String[kvsList.size()]));
  38. kvsList = new ArrayList<String>(mBatchSize);
  39. }
  40. }
  41. } catch (Exception e) {
  42. e.printStackTrace();
  43. } finally {
  44. if (jedis != null) {
  45. jedis.close();
  46. }
  47. }
  48. }
  49. /**
  50. * 纯hash
  51. */
  52. @Test
  53. public void testHash() {
  54. int mBatchSize = 2000;
  55. String hashKey = "allUser";
  56. Jedis jedis = null;
  57. try {
  58. jedis = new Jedis(HOST, PORT);
  59. Map<String, String> kvMap = new HashMap<String, String>();
  60. for (int i = 1; i <= TOTAL_USER_COUNT; i++) {
  61. String key = "u:" + i;
  62. String value = "v:" + i;
  63. kvMap.put(key, value);
  64. if (i % mBatchSize == 0) {
  65. System.out.println(i);
  66. jedis.hmset(hashKey, kvMap);
  67. kvMap = new HashMap<String, String>();
  68. }
  69. }
  70. } catch (Exception e) {
  71. e.printStackTrace();
  72. } finally {
  73. if (jedis != null) {
  74. jedis.close();
  75. }
  76. }
  77. }
  78. /**
  79. * segment hash
  80. */
  81. @Test
  82. public void testSegmentHash() {
  83. int segment = 100;
  84. Jedis jedis = null;
  85. try {
  86. jedis = new Jedis(HOST, PORT);
  87. Map<String, String> kvMap = new HashMap<String, String>();
  88. for (int i = 1; i <= TOTAL_USER_COUNT; i++) {
  89. String key = "f:" + String.valueOf(i % segment);
  90. String value = "v:" + i;
  91. kvMap.put(key, value);
  92. if (i % segment == 0) {
  93. System.out.println(i);
  94. int hash = (i - 1) / segment;
  95. jedis.hmset("u:" + String.valueOf(hash), kvMap);
  96. kvMap = new HashMap<String, String>();
  97. }
  98. }
  99. } catch (Exception e) {
  100. e.printStackTrace();
  101. } finally {
  102. if (jedis != null) {
  103. jedis.close();
  104. }
  105. }
  106. }
  107. }
三、结果对比
 redis核心对象 数据类型 + 编码方式 + ptr  分段hash也不会造成drift
方案 优点 缺点
string

直观、容易理解

  1. 内存占用较大
  2. key值分散、不变于计算整体
hash

直观、容易理解、整合整体

  1. 内存占用大
  2. 一个key占用过大内存,如果是redis-cluster会出 现data drift
segment-hash

内存占用量小,虽然理解不够直观,但是总体上是最优的。

理解不够直观。

 
四、结论:
   在使用Redis时,要选择合理的数据结构解决实际问题,那样既可以提高效率又可以节省内存。所以此次优化方案三为最佳。
附图一张:redis其实是一把瑞士军刀:
 
 
 
 

美团在Redis上踩过的一些坑-4.redis内存使用优化相关推荐

  1. 美团在Redis上踩过的一些坑-5.redis cluster遇到的一些问题

    转载请注明出处哈:http://carlosfu.iteye.com/blog/2254154 由于演讲时间有限,有关Redis-Cluster,演讲者没做太多介绍,简单的介绍了一些Redis-Clu ...

  2. 美团在Redis上踩过的一些坑-3.redis内存占用飙升

    转载请注明出处哈:http://carlosfu.iteye.com/blog/2254154  一.现象: redis-cluster某个分片内存飙升,明显比其他分片高很多,而且持续增长.并且主从的 ...

  3. (转)Redis上踩过的一些坑-美团

    上上周和同事(龙哥)参加了360组织的互联网技术训练营第三期,美团网的DBA负责人侯军伟给大家介绍了美团网在redis上踩得一些坑,讲的都是干货和坑. 分为5个部分: 一.周期性出现connect t ...

  4. Redis上踩过的一些坑-美团

    上上周和同事(龙哥)参加了360组织的互联网技术训练营第三期,美团网的DBA负责人侯军伟给大家介绍了美团网在redis上踩得一些坑,讲的都是干货和坑. 分为5个部分: 一.周期性出现connect t ...

  5. 美团在Redis上踩过的一些坑-1.客户端周期性出现connect timeout

    转载请注明出处哈:http://carlosfu.iteye.com/blog/2254154 1. 背景: 大部分互联网公司都会有Mysql或者Oracle的DBA,但是在Nosql方面一般不会设置 ...

  6. 美团在Redis上踩过的一些坑-2.bgrewriteaof问题

    转载请注明出处哈:http://carlosfu.iteye.com/blog/2254154 一.背景 1. AOF: Redis的AOF机制有点类似于Mysql binlog,是Redis的提供的 ...

  7. redis 分布式锁的 5个坑,真是又大又深

    引言 最近项目上线的频率颇高,连着几天加班熬夜,身体有点吃不消精神也有些萎靡,无奈业务方催的紧,工期就在眼前只能硬着头皮上了.脑子浑浑噩噩的时候,写的就不能叫代码,可以直接叫做Bug.我就熬夜写了一个 ...

  8. Redis 中常见的 15个坑,你踩过几个?

    Redis 是我们系统开发中必须要用到的一个组件,那它都有哪些需要主要的地方呢?本文我们就来盘点一下 Redis 中常见的一些坑: 明明一个 key 设置了过期时间,怎么变成不过期了? 使用 O(1) ...

  9. 阿里云服务器 搭建单体redis 以及踩坑

    在搭建阿里云服务器的过程中,踩坑很多,特写此文: 简介 Redis是一个开源(BSD许可),内存数据结构存储,用作数据库,缓存和消息代理.它支持数据结构,如字符串,散列,列表,集合,带有范围查询的排序 ...

最新文章

  1. 从FPN到Mask R-CNN,一文告诉你Facebook的计算机视觉有多强
  2. /dev、/sys/dev 和/sys/devices 和udev的关系
  3. 【机器学习】3万字长文,PySpark入门级学习教程,框架思维
  4. GPD电脑安装linux,怕虚拟机影响性能?GPD pocket 2 安装 Ubuntu 体验
  5. 2、VMware vCenter Server5.1功能介绍与安装
  6. Mybatis高级应用 多表关联查询
  7. python-含参函数
  8. CentOS 7.6 vi编辑器常用命令详解
  9. html遮罩层动画制作,《Flash遮罩层动画的制作》的教学反思
  10. Cdence版图设计手册
  11. littleVGL开发(8):消息弹窗控件(lv_mbox)
  12. 研究人员发现英特尔芯片组中可能被黑客使用的“新功能”VISA
  13. Mermaid知识点总结4 - Flowchart 3
  14. 二、功能篇:八相供电用料豪华,功能齐全应有尽有
  15. 【LINGO】lingo 软件简介
  16. 产品思维驱动自我成长
  17. 全球及中国单相固态继电器行业规模预测及产值分析报告2022~2027年
  18. 云编排技术加持,华为助力国网陕西电力成就数字化转型新样板
  19. 光电检测技术(第一二章未完)
  20. 中国企业再迎出海潮,只不过主角已是AI了

热门文章

  1. php的long类型转换,[PHP]将RGB或HEX转换为“Long Int”颜色
  2. canvas 实现图片局部模糊_JavaScript中的图片处理与合成(四)
  3. linux下安装微信wechat
  4. mysql ---- innodb-1- 体系结构、文件、表
  5. 初使用swagger遇到的问题(1)
  6. 《高级软件测试》实践作业4学习记录12月25日
  7. C#语言基础——结构体和枚举类型
  8. Using dbms_shared_pool.purge to remove a single task from the library cache
  9. winphone8更换帐号问题的几点说明
  10. 第二章: 第二课 内容处理-插入图片