1、列表问题

  举例:展示商品列表,但是要先展示运营置顶的数据,如果排序的序号一样,则按照id降序排序,就是需要按照sort asc, id desc 来排序;用redis怎么处理?

  【分析】

  首先这个问题可能本身有点问题,因为如果限定了redis,那么处理的方法就给限定死了,当时由于一股劲想着用redis处理,而忘了去想下redis是否适合处理这种问题;

  第二,讲下一开始是怎么用redis处理的

  1)商品列表存储起来在有序集合,按照sort字段排序比如有序集合goods-by-sort中数据:

  商品id (member) , value(score)

  1          1

  2          1  

  3          3

  4          2

  2)每当创建新商品,加入此队列,sort值是默认值;

  3)每当运营在管理后台修改sort值,则修改此有序集合中对应商品的score值;

  4)删除商品,或者设置不可见,则从这个有序集合中删掉该商品id的数据;

  5)用户获取商品列表时,因为需要按照sort和id排序,所以我当时再新增一个有序集合: goods_list_data,首先从goods_by_sort取出数据,在程序里面重新排序,然后写到goods_temp有序集合,然后rename为goods_list_data有序集合,然后给这个集合设置一个过期时间,比如2分钟。

  6)针对上面第2)到第4)步可能会对goods_by_sort有序集合的数据进行调整,比如修改、新增和删除,那么goods_list_data数据也需要更新,否则用户会一直看到被删除的商品。所以上面这三种情况,我会去更新一个string类型的refresh_goods_data 的key,每次去incr。用一个定时任务,每分钟一次去检查这个值,如果不为0,那么就去更新goods_list_data,然后设置refresh_goods_data的值为0,。否则则不处理,因为goods_list_data有序集合没改动。

  【上面这么做的问题】

  1)耦合很深,不好维护;搞了2个有序集合,还有定时任务;

  2)会有无底洞问题:有序集合存储的数据会越来越多,当然这个可以根据业务处理,比如裁剪,但是维护这个有序集合也是个问题,增删改都要做相应维护。

  【比较好的处理方法】

  1)还是回归到查询数据库,根据sort asc,id desc 排序来分页获取,但是基础数据就从redis中获取;这个要根据数据量,还有sql语句复杂度来评估,如果联表,或者是已经被告知数据库出现这个慢查询sql,那就肯定不能用这个方法。

  2)同事建议这种用sphinx来处理,有道理,不过还没尝试。

  2、redis防雪崩、防穿透、无底洞问题

  【分析和解决方法】

  防止雪崩问题的有效方法:

  1)不设置过期时间,只要数据实时更新到redis,那么给用户的数据就是实时的,不影响后端数据库;

  2)热数据和冷数据的区分,每天定时刷新热数据;

  防穿透问题

  1)由于在redis中找不到数据,所以会去数据库读取,但是数据库也没有,所以不会写回缓存,导致并发访问时每次兜圈数据库读取;

  2)可以给这类数据写一个null或false到redis,设置一个过期时间,比如2分钟;

  3)要注意的是,这种key不能存储太长时间,key的量多起来,内存占用也会多的。

  无底洞问题

  1)key如果不过期,那么会一直保存在内存,内存会越来越不够用;

  2)key如果过期,那么过期后,怎么处理,高并发访问数据,数据库会不会挂掉?网上有不少代码用setnx加锁方式,获取到锁的就去db查询然后写回redis,而其他的请求没有获取到锁,则等待一段时间(比如10毫秒)然后再去redis读取,取到就返回,取不到数据的话可以根据业务看要不要直接返回空结果,还是再去获取锁,直到读取到数据或者尝试的次数到达指定次数。

  3、刷缓存问题

  举例:由于是在一个老项目上做优化,之前是没有做redis缓存(严格来说还是有缓存,但是仅仅是把api接口的结果缓存起来设置个过期时间),所以新的优化上线后,如果访问旧的数据,缓存中没有,那么如果不刷数据,就会所有请求到缓存都是空命中,此时要么直接返回说没数据(用户体验非常差),或者去数据库查询,此时是类似雪崩的情况,并发访问数据库,数据库可能会挂掉,那么比较好的处理方式就是先把数据刷到缓存。这里该如何处理?

  【分析】

  1)根据业务,分析哪些数据需要提前刷新到缓存;

  2)增加锁机制,如果获取不到数据,则先去获取锁,获取到锁的则去db查询然后写回redis,db无数据则写null或false到redis并设置过期时间;

  3)根据数据库表中数据量和业务,分析是否可以先刷一部分数据。比如商品有1000万条数据,用户在网站首页可以分页慢慢地看1000万条数据,但是大部分用户可能只会看前面的几十页数据,比如一页20条数据,那么准备2000条最新数据或者热门数据即可。其他的商品,等待用户访问的时候,从redis获取,读取不到从db获取写回redis即可。

 4、商品之间根据标签进行关联,比如

  商品A: tag1, tag2 ,tag3

  商品B: tag2, tag4

  商品C: tag1, tag5

  商品D: tag4

  所以,商品A和商品B、商品C关联;商品B和商品D关联;商品C和商品A关联;商品D和商品B关联。

  每当要获取商品A关联的商品时,当然可以从db去获取A的标签,然后计算出管理的商品,那么如何用redis处理?

  【分析】

  如果非要用redis处理,那么就是需要提前把关系计算好,存放到集合/有序集合,那么一旦需要获取数据的时候,不需要再去计算,而是直接从缓存读出这些关联的id。

  1)新增商品时,会附带标签。计算关联的商品,是比较耗时的操作,可以放在队列,由后台脚本定时处理;

  2)删除商品时,也是需要放入队列,由后台脚本去处理;

  3)修改标签(给商品新增一个或多个标签、删除一个或多个标签和修改某些标签),也是需要放入队列,由后台脚本去处理;

  【上面这么做的问题】

  1)不好维护;增删改,都需要去维护这个有序集合。好处就是需要获取关联数据时直接从集合/有序集合获取id,基础信息也从redis获取;

  2)请教了同事,说用sphinx也可以处理,还没尝试。

 5、用redis能否解决mysql like 的问题

  答案自然是解决不了,只能用sphinx或es这些全文搜索系统。

  6、商品列表有个逻辑是,允许展示用户自己发布的商品(不论审核状态)+其他用户发布的商品(只能审核通过状态)的这些数据。当时用redis处理,搞了两个有序集合,一个是存储网站上所有审核通过的商品;第二个有序集合是存储用户自己发布的商品(不论审核状态)。当需要获取商品列表时,合并两个集合,然后分页取数据。

  【问题】

  并发情况下,合并有序集合的代价是很高的,可能造成阻塞;

  【解决方法】

  1)可以的话直接mysql查询。

  2)使用sphinx:又是同事的建议。

  总结:

  1、redis不是万能的,也有自己的优势和劣势;redis不适合处理sql这种关系型的业务;

  2、redis的性能是很好的,但是人为的操作,使用不当,可能造成阻塞;

  3、除了redis,还有其他的方法可以处理,不能限定死了。处理问题的时候,不仅要考虑能不能处理,还要考虑是否合理。

关于Redis的使用!相关推荐

  1. Spring AOP + Redis解决重复提交的问题

    Spring AOP + Redis解决重复提交的问题 用户在点击操作的时候,可能会连续点击多次,虽然前端可以通过设置按钮的disable的属性来控制按钮不可连续点击,但是如果别人拿到请求进行模拟,依 ...

  2. Redis问题——Error: 磁盘在使用中,或被另一个进程锁定。

    Redis出于对数据保护,默认只能本地客户端连接.远程连接就会出现以上错误.如何解决这一问题,看下: server -A,PC-A, 修改server-A的redis.conf:注释掉本地绑定: bi ...

  3. 实现 连续15签到记录_MySQL和Redis实现用户签到,你喜欢怎么实现?

    现在的网站和app开发中,签到是一个很常见的功能 如微博签到送积分,签到排行榜 微博签到 如移动app ,签到送流量等活动, 移动app签到 用户签到是提高用户粘性的有效手段,用的好能事半功倍! 下面 ...

  4. Redis 笔记(16)— info 指令和命令行工具(查看内存、状态、客户端连接数、监控服务器、扫描大key、采样服务器、执行批量命令等)

    Info 命令返回关于 Redis 服务器的各种信息和统计数值.通过给定可选的参数 section ,可以让命令只返回某一部分的信息. 1. 显示模块 server : 一般 Redis 服务器信息, ...

  5. Redis 笔记(15)— 管道 pipeline(客户端将批量命令打包发送用来节省网络开销)

    Redis 是一种基于客户端-服务端模型以及请求/响应协议的 TCP 服务.这意味着通常情况下一个请求会遵循以下步骤: 客户端向服务端发送一个查询请求,并监听 Socket 返回,通常是以阻塞模式,等 ...

  6. Redis 笔记(14)— 持久化及数据恢复(数据持久方式 RDB 和 AOF、数据恢复、混合持久化)

    1. 持久化 所谓持久化是指将数据从内存中以某种形式同步到硬盘中,在 Redis 重启后能够根据硬盘中的记录恢复数据.Redis 持久化有两种方式,分别为 RDB(redis data base) [ ...

  7. Redis 笔记(13)— scan 和 keys 寻找特定前缀key 字段(命令格式、使用示例、定位大key)

    1. keys Redis 提供了一个简单暴力的指令 keys 用来列出所有满足特定正则字符串规则的 key. 127.0.0.1:6379> keys * (empty array) 127. ...

  8. Redis 笔记(12)— 单线程架构(非阻塞 IO、多路复用)和多个异步线程

    Redis 使用了单线程架构.非阻塞 I/O .多路复用模型来实现高性能的内存数据库服务.Redis 是单线程的.那么为什么说是单线程呢? Redis 在 Reactor 模型内开发了事件处理器,这个 ...

  9. Redis 笔记(11)— 文本协议 RESP(单行、多行字符串、整数、错误、数组、空值、空串格式、telnet 登录 redis)

    RESP 是 Redis 序列化协议Redis Serialization Protocol 的简写.它是一种直观的文本协议,优势在于实现异常简单,解析性能极好. ​ Redis 协议将传输的结构数据 ...

  10. Redis 笔记(10)— 发布订阅模式(发布订阅单个信道、订阅信道后的返回值分类、发布订阅多个信道)

    1. 发布-订阅概念 发布-订阅 模式包含两种角色,分别为发布者和订阅者. 订阅者可以订阅一个或者若干个频道(channel): 而发布者可以向指定的频道发送消息,所有订阅此频道的订阅者都可以收到此消 ...

最新文章

  1. 机器学习特征筛选:方差选择法VarianceThreshold
  2. 【模拟】交换(jzoj 1518)
  3. 绘制Nine-Patch图片
  4. leetcood学习笔记-204-计算质数
  5. LeetCode 2181. 合并零之间的节点(链表)
  6. 51nod 1640 天气晴朗的魔法
  7. 三分钟快速理顺HTMLJSP中单、双引号用法、含义
  8. 模拟人生java版攻略_模拟人生免费版简易攻略小技巧
  9. 南航里程每年清空吗_南航里程即将大幅贬值!此期限前使用仍能保值
  10. 玩转四旋翼无人机(仿真)
  11. 数据可视化----常用图表样式
  12. 【网络驱动】GMAC 系统框架
  13. 处理器最新排行_CPU跑分工具CINBENCH R23排行榜出炉:AMD锐龙单核、多核均屠榜
  14. 白鹭引擎用java_白鹭引擎产品工具更新 完善小游戏、QQ玩一玩开发支持
  15. seajs 和spm的使用简介
  16. 超声波测距仪编程_51单片机控制的超声波测距仪程序
  17. Oracle 创建分区表操作分区表
  18. java saf_在不支持的浏览器中替代IndexedDB? Safari / iOS Saf-Chrome
  19. 基于c52万年历c语言,基于STC89C52单片机的可测温式电子万年历
  20. 视频教程-零基础学Python-Python

热门文章

  1. 电话连线(最小生成树)
  2. H3C设备之RIP v2认证
  3. CYQ.Data.ProjectTool 项目配置工具发布(包源码)
  4. 区块链安全:2019年我们走了多远?
  5. springmvc中url-url-pattern /和/*的区别
  6. cdoj 题目简单分类
  7. 基于jquery多种切换效果的焦点图(兼容ie6)
  8. 家用机器人风口来临,但巨头围猎背后的前景不容乐观
  9. jdbc桥连接过程解析
  10. 聊聊自动化测试路上遇到的挑战