触发了慢日志告警应该怎么办

这么个场景：

业务场景：要统计所有门店不同类型的商品的半年销量，可能用于用户侧的展示或者商户侧的展示

前提：1、两个表：一个订单表、一个订单商品表（假设主子表之间1:8的比例、时间跨度1年）； 2、闲时统计；3、所有查询条件都能走索引（这种时间范围内的索引基本会失效的）；

一般做法（不用思考的大部分人采用的做法）：一条sql统计半年的所有门店的所有商品的销量；

这种做法有问题吗？一般情况没有问题；主要看数据量，放在两千万内的数据量（假设2万订单）都没问题（有可能会触发慢日志告警、慢点也没有关系毕竟闲时执行也不影响正常的业务嘛）；

再加大数据量，到达将近1亿这个数量（主表扩大到5倍），估计GG了吧；

思考一下问题：

1、这种统计类型的业务数据是否需要绝对的准确，是否需要剔除退款的数据；（业务需求）

2、能否增量统计，比如按天统计，将每天统计的数据累加起来，这样每次统计时只需要统计1天的数据量；

3、假如要求剔除掉退款的绝对精确的数据、且已目前的人员的时间、精力和技术暂时不能做到增量统计，这种情况如何处理？难道就一个sql搞到死吗？

解决方案：

1、如果能容忍统计数据中包含退款数据（不要求绝对精确），增量统计，就一条sql，然后主日统计累加；

2、如果要求绝对精确，不能增量（做不到增量统计），还是那个sql，分批次统计处理，一次执行半个月或者1个月的数据，一共执行6次或者12次；

3、相对于总数据量或者入参时间，一次查询尽量缩小范围，查询尽量少的数据，可以分批次查询；

触发了慢日志告警应该怎么办相关推荐

业务日志告警如何做?
一.前言随着 Kubernetes 使用越来越广泛,日志集中收集.展示.告警等都需要考虑的事情.Kubernetes 日志收集方案一般有下面几种: 1.日志收集组件以 Daemonset 形式运行在 ...
Spark心跳存活-延迟处理-异常日志告警
Spark心跳存活-延迟处理-异常日志告警 1.目录大纲 spark异常日志告警 spark存活心跳告警 spark批次处理延迟告警 2.任务背景 2.1问题背景生成中针对spark steam ...
java告警_错误日志告警实战
1. 错误日志告警实战 1.1. 需求为了更方便的实时了解系统报错情况,我开始寻找告警解决方案 1.2. 思路 1.2.1. 不差钱的方案如果不差钱,更系统更完善的解决方案,我首先想到的是CAT, ...
jvm性能调优实战 - 28年轻代存活的对象太多老年代放不下触发Full GC日志怎么看
文章目录 Pre Code JVM 参数 GC日志日志分析思考题 Pre 前两篇文章已经给大家分析清楚了对象是如何进入老年代的,接着我们就给大家演示一下,老年代的GC是如何触发的. Code JV ...
zabbix监控mysql日志告警_zabbix监控mysql以及报警（二）终
Zabbix部署监控数据库报警服务(二) 终接着zabbix(一)接着部署配置过一段时间后,观察下监控图效果出来了没 zabbix3.0 server已自带mysql的模板了,只需配置好age ...
带你了解zabbix整合ELK收集系统异常日志触发告警~
今天来了解一下关于ELK的"L"-Logstash,没错,就是这个神奇小组件,我们都知道,它是ELK不可缺少的组件,完成了输入(input),过滤(fileter),output( ...
zabbix监控服务器日志文件,Zabbix对服务器资源进行监控及百度告警的整合
Zabbix介绍跟nagios一样是一款开源的服务器资源监控软件.达到企业级对万百上千台服务器.虚拟机.网络设备进行实时监控. 安装安装环境:Centos 6.5,相关的下载地址在 1.yum安装 ...
AZURE 日志分析自动告警
小伙伴们好久不见,今天我们来聊聊中国 AZURE 的日志分析告警.为什么是中国 AZURE,目前中国 AZURE 的 Monitor 服务和运维相关周围服务和 Global 是有所不同的,所以有些功能 ...
html写弹出告警状态,基于日志报警插件 elastalert 实现告警(示例代码)
1.官方http://elastalert.readthedocs.io/en/latest/ 2.报警规则示例 http://elastalert.readthedocs.io/en/latest/ ...

触发了慢日志告警应该怎么办

触发了慢日志告警应该怎么办相关推荐

最新文章

热门文章