大数据实战项目------中国移动运营分析实时监控平台 || 项目背景

中国移动运营分析实时监控平台

项目背景
中国移动公司旗下拥有很多的子机构,基本可以按照省份划分. 而各省份旗下的充值机构也非常的多.
目前要想获取整个平台的充值情况,需要先以省为单元,进行省份旗下的机构统计,然后由下往上一层一层的统计汇总,过程太过繁琐,且统计周期太长. 且充值过程中会涉及到中国移动信息系统内部各个子系统之间的接口调用, 接口故障监控也成为了重点监控的内容之一.
为此建设一个能够实时监控全国的充值情况的平台, 掌控全网的实时充值, 各接口调用情况意义重大.

技术选型：
2.Apache Spark
Spark Streaming 是核心 Spark API 的一个扩展，它并不会像 Storm 那样一次一个地处理数据流，而是在处理前按时间间隔预先将其切分为一段一段的批处理作业。Spark 针对持续性数据流的抽象称为 DStream（DiscretizedStream），一个 DStream 是一个微批处理（micro-batching）的 RDD（弹性分布式数据集）；而 RDD 则是一种分布式数据集，能够以两种方式并行运作，分别是任意函数和滑动窗口数据的转换。

3.项目架构

项目数据量
 数据量每天大概 2000 到 3000 万笔的下单量, 每条数据大概在 0.5KB 左右,下单量数据大概在 15GB 左右.
 最后充值成功的大概 500 到 1000 万,平时充值成功的大概五六百万笔.
 月初和月末量比较大

大数据实战项目------中国移动运营分析实时监控平台 || 项目背景相关推荐

大数据实战项目------中国移动运营分析实时监控平台 || 项目需求实现（文章最后有数据文件）
1.业务概况(显示总订单量.订单成功量.总金额.花费时间) 2.业务详细概述(每小时的充值订单量.每小时的充值成功订单量) 3.业务质量(每个省份的充值成功订单量) 4.实时统计每分钟的充值金额和订单 ...
大数据·实战个例“宏”分析
大数据·实战个例"宏"分析 MBA教育体系最成功之处,就在于导入了科学的个案分析. Ps,二战最伟大的技术成功,不是原子弹.导弹.喷气机,而是流水线.流水线提供的生产力,比二战所有 ...
大数据实战：用户流量分析系统
---------------------------------------------------------------------------------------------------- ...
Splunk—云计算大数据时代的超级日志分析和监控利器
信息科技的不断进步,一方面使得银行业信息和数据逻辑集中程度不断得到提高,另一方面又成为银行业稳健运行的一大安全隐患.Splunk作为智能的IT管理运维平台,能够帮助银行业积极迎接.应对和解 ...
大数据实战项目--中国移动运行分析
1.项目背景中国移动公司旗下拥有很多的子机构,基本可以按照省份划分. 而各省份旗下的充值机构也非常的多. 目前要想获取整个平台的充值情况,需要先以省为单元,进行省份旗下的机构统计,然后由下往上一层一 ...
大数据实战之用户画像概念、项目概述及环境搭建
下面跟着我一起来学习大数据获取用户画像: 项目Profile课程安排 : 用户画像概念 1.用户画像概述 1.1.产生背景早期的用户画像起源于交互设计之父Alan Cooper提出的"Pe ...
大数据实战项目之电商数仓（一）
大数据实战项目之电商数仓(一) 项目介绍数据仓库概念数据仓库是为企业所有决策制定过程,提供所有系统数据支持的战略集合.通过对数据仓库中数据的分析,可以帮助企业改进业务流程,控制成本,提高产品质 ...
大数据实战-callLog项目(通话记录数据分析)之数据生产
文章目录前言生成基础数据 Maven依赖姓名-手机号列表时间维度表自动随机生成生成时间戳生成一定范围内的long数据代码调用演示获得随机的时间戳代码调用示例生成一行记录打包 ...
《OD大数据实战》驴妈妈旅游网大型离线数据电商分析平台
一.环境搭建 1. <OD大数据实战>Hadoop伪分布式环境搭建 2. <OD大数据实战>Hive环境搭建 3. <OD大数据实战>Sqoop入门实例 4. &l ...

大数据实战项目------中国移动运营分析实时监控平台 || 项目背景

大数据实战项目------中国移动运营分析实时监控平台 || 项目背景相关推荐

最新文章

热门文章