平台无论是城市合伙人，还是商家，都有大量的统计数据的需求，比如统计商家一个月的总金额收入，投币消费总金额，微信扫码消费总金额等。这块的优化也一直在做，大概分为这么几个阶段。

1.实时count统计订单表

1.0平台当初2个月的时间开发完毕并上线用的就是这种方式统计数据。当时的订单量并不大，所有涉及到统计相关的数据都是实时的通过SQL去订单表COUNT或者SUM出来，前面1，2个月基本没碰到什么问题，也一直没怎么去管它。

2.每天定时任务统计

在2.0平台上线不久，问题立马就暴露出来了，经常反应说有统计数据的页面反应都很慢甚至异常超时，当时讨论业务场景可以给做一个统计表，每天凌晨通过定时任务去统计所有城市合伙人和商家的相关数据，对于合伙人和商家来说，当天查看的都是前一天的数据，当天的统计数据要第二天才可以更新。后面随着人数的增加，订单数据量的增加，每天凌晨统计数据由原来的10几分钟到1个多小时，后面还在增加，另外外面合伙人和商家的需求也越来越明确就是要实时看数据，不能容忍隔一天再看。

3.通过MQ异步实时统计

MQ是个好东西，很多异步场景业务都可以用它来解决。用户下单，涉及到用户扣费，城市合伙人和商家的劈帐分成，都是通过MQ异步解决。详情见我的物联网项目(十四) 分布式事务，同样的道理，统计数据也可以通过MQ去实时更新，到目前为此，用这种方案平台依然是稳定的，数据都正常。

以上的都是业务统计数据，还有些场景不是实时性很强，而且需求也是千奇百怪，而且不是刚需，可能统计一次下次不需要的，像这些情况，平台都是通过人工将各数据库的表比如用户表，商家表，订单表，设备表等导出来，一起放到一个新的统计数据库，然后再通过SQL去做查询，去做分析，一般很多数据分析场景通过这种方式的比较多。

我的物联网项目(二十三) 统计数据优化相关推荐

网络云存储技术Windows server 2012 (项目二十三远程异地数据实时同步)
网络云存储技术Windows server 2012 (项目二十三远程异地数据实时同步) 前言网络存储技术,是以互联网为载体实现数据的传输与存储,它采用面向网络的存储体系结构,使数据处理和数据存储 ...
我的物联网项目(二十一) 摇摇车三种消费模式和城市合伙人
我们的摇摇车支持三种消费模式: 1.投币和传统摇摇车一样,通过一元的硬币来启动摇摇车,公司其实在做这个平台当时的初衷是不做投币的,只做app扫码,一来方便用户,毕竟这几年来流行各种扫码.二来做线上运 ...
物联网项目(二)初建团队
今年三月初也是机缘巧合下接触这个项目,说实话也是非常看好这个项目,以前做过企业级项目,互联网项目,但是物联网项目也是第一次接触,相关资料了解了下何为物联网,原来是物物相连的互联网,与传统行业相结合的互 ...
我的物联网项目(二十七) 分布式锁粗心导致大量阻塞
有天项目中某个业务出现了异常,查询相关日志显示如下: ### Error updating database. Cause: com.mysql.jdbc.exceptions.jdbc4.MySQ ...
我的物联网项目(二十) 合伙人羊毛党
城市合伙人平台上线后,对于系统监控最关心的两个事情就是用户和订单,其中以订单最为重心.原因很简单,因为外面很多城市合伙人陆续加入进来,摇摇车的流量入口越来越大,新注册的app用户和启动摇摇车产生的订单 ...
我的物联网项目(二十九) 线上前期运营
说实话,线上运营不是我们的强项,公司的大部分人对线上的运营想法都有一箩筐,谈起线上运营的内容,都是神采奕奕,滔滔不绝,感觉钱就在眼前,触手可及.我自己也一度认为,平台有了用户,有了流量,做线上的任何内 ...
我的物联网项目(二十五) 平账难题分析
平账一词是在开发摇摇车投币功能出现的,当初目的就是解决,用户一块钱硬币投进去,商家掌管摇摇车钥匙,有随时收取硬币的权限,平台怎么分账?当初的设计方案就是用户投进去硬币,商家线上账户上的可提取资金扣掉分 ...
我的物联网项目(二十六) 商家微信充值流程优化
偶尔有反馈说商家充值成功了,但是商家无充值记录和资金账户没有改变,另外也有反馈第三方微信支付在业务高峰期会有不断的回调尝试,更重要的是问题追踪起来比较繁琐,针对这些对设计进行了重新优化,没有太对的细节 ...
我的物联网项目(二十四) 订单编号生成规则
这一章其实应该在前面就要写到,顺便说下,我写这些文章只是随意写写,并没有太强的先后顺序,可能在写到后面的时候突然想起来,还有些东西前面应该交代的,所以我就补上来,但是整体的先后顺序是没有问题的,后面有 ...

我的物联网项目(二十三) 统计数据优化

1.实时count统计订单表

2.每天定时任务统计

3.通过MQ异步实时统计

我的物联网项目(二十三) 统计数据优化相关推荐

最新文章

热门文章