QPS相关

QPS,每秒处理请求数。可以在一定程度上反映某个服务此时的压力情况。下面可以通过一个案例来分析下如何大致的估算一个服务的QPS。

背景:昨天上线的一个活动,会根据唱歌时间来进行送券行为,计算下此送券行为的QPS。

分析:每隔送券行为都会有一条日志进行记录,如下。

2017-10-27 15:10:16 songtime=355 userid=56135899 giftid=20331 addednumbers=1

因此计算出每秒的songtime请求就可以作为目标值了。

因此可以使用如下命令:

developer@hosttx:~$ sudo devpssh -i -h /opt/iplist.all.svn 'grep songtime /home/log/baofang-yanzhishengdian.log' | grep 10-27 | cut -d " " -f 2  | uniq -c

由于访问人数比较少,所以基本上QPS为2~3。

解释:也许你会好奇,这是怎么计算出来的呢?下面来解释一下,我们的目标就是查看某一秒下有songtime日志的条数。

  • 判断一条日志中是否包含songtime ,可以使用grep命令。
  • 在线上多台GET机之间查找日志记录,可以使用sudo devpssh -i -h /opt/iplist.all.svn 'grep songtime /home/log/baofang-yanzhishengdian.log'
  • 切分出秒级日志可以使用cut命令,-d "delimiter"用于指定分隔字符, -fN用于显示哪一个field字段,默认从1开始计数。
  • uniq命令短小精悍,-c参数就是用于统计的,但是只有相邻的两行同样的日志才会被累加在第一条前面的序号上。

模拟一下Redis的同步流程

先看看目前电脑上有没有启动redis服务:

看来是没有,那么我们就可以启动几个redis-server,因为是在一台机器上,所以指定不同的端口就好了。

同样,使用redis-server --port 7777 再开启一个redis服务。

最后再来看下服务到底有没有启动吧。

好了,现在是两个全新的redis服务了,在开始准备具体的主从复制,同步操作前,先指定下主从关系。
- 端口为6666的作为master
- 端口为7777的作为slave

然后通过一个redis-cli的monitor命令监视下slave,看看在master中的某些key发生变化的时候,slave会做出什么样的反应。

下面让7777作为6666的slave。

同时在7777server的终端下会出现其作为6666的slave的一些输出。

而同时刻作为master的6666也会对7777发来的同步请求做出相应的反应。

模拟同步,这个时候只需要在master中随便set几个key,看看slave的monitor窗口中的输出即可。

可以看出,slave会实时将master上的数据同步过来,达到数据的一致性。这样,简单的主从同步,就算是完成了。

但是需要注意的是,作为slave的redis是不能被写入的。比如我们随便在slave上set几个key,看看能否成功,不出意外的话,你会看到如下结果。

这是因为redis的从slave-read-only默认是yes即只读状态的,所以同步完成后要修改这个变量,config set slave-read-only no就可以。

对slave的操作不会对master产生影响,这是必须的了。

最后同步完成之后,如果不想让7777作为6666的slave了,就可以使用slaveof no one来实现。

线上升级redis

线上跑的redis一般为了稳定性,版本都不会很高。但是也不能太低了不是,因此有时候升级redis是很有必要的,这也是不可避免的。但是线上的redis通常会包含大量的数据,有可能多达N个多G,而且不能直接进行主从同步,这样来自slave的同步请求会挤垮来自外部的用户请求。导致服务出现报警。

通常对线上Redis做升级的话,有这样的思路: 找个替身,然后做如下步骤。

  • 让替身slave成为线上机器,同步完成后,将slave-read-only 设置为no
  • 将线上流量引入到slave上, 此时slave成为线上机器,查看线上机器的QPS,直至为0。
  • 趁此时,卸载线上的旧Redis,然后安装新版本的Redis
  • 新版本的Redis作为slave同步线上Redis的数据,同步完成后同样将slave-read-only设置为no, 然后将线上流量引回来,此时查看刚才的替身RedisQPS为0即可。

在这个过程中,查看redis请求的QPS最好的方法就是通过monitor来实现。

redis-cli -h 127.0.0.1 -p 6379 monitor | cut -d "." -f1 | uniq -c

而在升级线上Redis的时候,尤其要注意外部连接数,有时是正常的业务请求,有时是crontab统计数据跑的脚本,反正情况多样,可以通过ss -anp | grep redis:port 命令 查看连接情况。

需要注意的是要使用root权限,才能看得到具体的PID信息。

然后可以通过ps aux命令找到具体是那条命令在跑着。然后对症下药,完成整个操作。


总结

回顾一下,这篇文章主要是为了谈谈对线上redis升级的体会,以及一些常识性的内容的叙述。为了循序渐进,讲了QPSRedis的主从同步的具体操作步骤,最后引出升级的步骤和过程。

其实步骤什么的不重要,重要的在于整体的思路,还有对工具的使用的熟练程度。

线上升级Redis纪实相关推荐

  1. 记一次线上环境 redis偶尔连接超时报错 解决

    记一次线上环境 redis偶尔连接超时报错 解决 贴出本地控制台日志 说实话,很痛苦,跟进很久了,一直认为的jvm程序所使用的配置的连接池框架问题 因为程序为 springboot 2 spring ...

  2. 问卷星作答能不能检测到屏幕共享_云端检测,别样精彩——大厂回族自治县王必屯中心小学线上期末检测纪实...

    特殊的假期, 别样的课堂, 线上课堂培养能力, 云端检测教学效果. 为了全面了解学情, 检测学生学习效果. 我校于7月2日, 组织了2019-2020年下学期 线上期末测试. 一.线上检测 一.线上测 ...

  3. YK线上机器redis配置(没有主从,单点,一致性哈希)

    在YK,redis机器环境默认都是8核128g内存,一般每个核启动一个redis实例,剩余内存不能太少.如我们这启动了8个进程,每个进程15g内存. 由于我们这个业务使用的缓存,不需要那么高的可靠性, ...

  4. 一次线上Redis类转换异常排查引发的思考

    之前同事反馈说线上遇到Redis反序列化异常问题,异常如下: XxxClass1 cannot be cast to XxxClass2 已知信息如下: 该异常不是必现的,偶尔才会出现: 出现该异常后 ...

  5. 线上Redis高并发性能调优实践

    点击上方关注 "终端研发部" 设为"星标",和你一起掌握更多数据库知识 作者 |  丶谦信 来源 |  urlify.cn/YBJryu 66套java从入门到 ...

  6. 水下机器人线上赛战火升级,目标检测、通信赛项等你来战

    权威目标检测.水声通信赛事火热报名中,更有35万奖金和自然科学基金委认证证书等你来拿! 2021年全国水下机器人大赛-线上赛战火升级啦!新上线水下光学目标检测产业应用.水下声学通信应用产业两大算法赛项 ...

  7. 线上redis一般安在linux_redis的zset有多牛?请把耳朵递过来

    原创:小姐姐味道(微信公众号ID:xjjdog),欢迎分享,转载请保留出处. 本篇文章很短,但信息量很大,是关于redis的zset.我来分享一点遇到过的线上数据,或许对你的决策有帮助. redis支 ...

  8. springcloud gateway 使用nacos 动态过滤器 记一次线上网关升级cpu升高的问题

    大家好,我是烤鸭: ​ 网关升级,想使用 springcloud gateway nacos 动态过滤器配置(原来是硬编码的方式),升级之后出了一些问题(cpu升高,ygc频繁),记录一下. 关于 s ...

  9. 指令脚本redis线上环境监控脚本(python脚本)

    在改章节中,我们要主介绍指令脚本的内容,自我觉感有个不错的议建和大家分享下 近来一个月没啥新更,边身生发太多事,结业几年来霉运太多,虽然不信命,但我信有些性命的确好,有些性命的确差,其它不说也罢.(大 ...

最新文章

  1. 阿里云rds for mysql平台介绍_阿里云RDS for MySQL实例创建账号和数据库?
  2. Nginx优化、服务器状态模块(--with-http_stub_status_module 的安装使用)
  3. word2003如何设置护眼模式_连锁企业如何设置「单店盈利模式」?
  4. Python中生成一个指定长度的随机字符串实现示例
  5. mysql数据库之事务与存储过程
  6. 如何真正做好项目管理?
  7. php网站跨站脚本监测,基于PHP的在线跨站脚本检测工具.pdf
  8. Redis从入门到精通:初级篇(转)
  9. matlab 写入 MYSQL_阿里开源MySQL中间件Canal快速入门
  10. 原生指针auto_ptr的用法
  11. Eclipse自己定义keystore
  12. 交易学习--复盘软件及其使用方法
  13. linux如何删除非空文件夹_linux删除文件夹命令
  14. java安装_Java开发人员应该知道的7种新工具
  15. 商业分析的职业路线-在数据科学世界里规划你的下一个角色
  16. iOS/MAC 数据压缩与解压缩及常用算法 LZMA、ZLIB
  17. python读取excel单元格填充色rgb_Python openpyxl读取单元格字体颜色过程解析
  18. 以自动开发票为例,解析RPA(机器人流程自动化)在财务场景的使用
  19. 数据的入库操作 实验python_python操作MySQL数据库
  20. 游戏夜读 | 写游戏用什么语言?

热门文章

  1. 石坑崆(猛坑石)攻略
  2. (后台管理系统的权限控制与管理)
  3. DaVinci:色轮
  4. 也谈Scrum Master的职业发展路径
  5. 记自己2017年校招一路走来
  6. 变分自编码器原理解析
  7. Java设计模式:(二)单例模式
  8. window系统如何在文件上添加备注,简单标注文件信息或功能
  9. php递归获取文件夹,php递归遍历文件夹
  10. 数据库|如何解决数据库插入中文字体时显示问号