112.Spark大型电商项目-广告点击流量实时统计-需求分析、技术方案设计以及数据设计

需求分析

技术方案设计

数据表设计

ad_user_click_count //用户点击广告表

ad_blacklist //用户黑名单

ad_stat //广告状态表

ad_province_top3 //各省份广告top3表

ad_click_trend //广告趋势表

广告点击流量实时统计模块

本篇文章记录广告点击流量实时统计-需求分析、技术方案设计以及数据设计。

需求分析

实现实时的动态黑名单机制：将每天对某个广告点击超过100次的用户拉黑
基于黑名单的非法广告点击流量过滤机制
每天各省各城市各广告的点击流量实时统计
统计每天各省top3热门广告
统计各广告最近1小时内的点击量趋势：各广告最近1小时内各分钟的点击量
使用高性能方式将实时统计结果写入MySQL
实现实时计算程序的HA高可用性（Spark Streaming HA方案）
实现实时计算程序的性能调优（Spark Streaming Performence Tuning方案

技术方案设计

实时计算各batch中的每天各用户对各广告的点击次数
使用高性能方式将每天各用户对各广告的点击次数写入MySQL中（更新）
使用filter过滤出每天对某个广告点击超过100次的黑名单用户，并写入MySQL中
使用transform操作，对每个batch RDD进行处理，都动态加载MySQL中的黑名单生成RDD，然后进行join后，过滤掉batch RDD中的黑名单用户的广告点击行为
使用updateStateByKey操作，实时计算每天各省各城市各广告的点击量，并时候更新到MySQL
使用transform结合Spark SQL，统计每天各省份top3热门广告：首先以每天各省各城市各广告的点击量数据作为基础，首先统计出每天各省份各广告的点击量；然后启动一个异步子线程，使用Spark SQL动态将数据RDD转换为DataFrame后，注册为临时表；最后使用Spark SQL开窗函数，统计出各省份top3热门的广告，并更新到MySQL中
使用window操作，对最近1小时滑动窗口内的数据，计算出各广告各分钟的点击量，并更新到MySQL中
实现实时计算程序的HA高可用性
对实时计算程序进行性能调优

数据表设计

ad_user_click_count //用户点击广告表

CREATE TABLE `ad_user_click_count` (`date` varchar(30) DEFAULT NULL,`user_id` int(11) DEFAULT NULL,`ad_id` int(11) DEFAULT NULL,`click_count` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

ad_blacklist //用户黑名单

CREATE TABLE `ad_blacklist` (`user_id` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

ad_stat //广告状态表

CREATE TABLE `ad_stat` (`date` varchar(30) DEFAULT NULL,`province` varchar(100) DEFAULT NULL,`city` varchar(100) DEFAULT NULL,`ad_id` int(11) DEFAULT NULL,`click_count` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

ad_province_top3 //各省份广告top3表

CREATE TABLE `ad_province_top3` (`date` varchar(30) DEFAULT NULL,`province` varchar(100) DEFAULT NULL,`ad_id` int(11) DEFAULT NULL,`click_count` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

ad_click_trend //广告趋势表

CREATE TABLE `ad_click_trend` (`date` varchar(30) DEFAULT NULL,`ad_id` int(11) DEFAULT NULL,`minute` varchar(30) DEFAULT NULL,`click_count` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

广告点击流量实时统计模块

电商用户行为分析大数据平台

用户访问session分析模块：会话（session），用户的基础访问行为
页面单跳转化率模块：页面（page），用户的页面访问和页面跳转行为
各区域热门商品统计模块：商品（product），用户的商品点击行为
广告点击流量实时统计模块：广告（ad，advertisement），用户的广告点击行为

电商网站 / app（移动互联网），用户行为的方方面面

这个项目，基本上，内容还是非常丰富的；无论是技术含量，还是业务含量；技术上来说，对实际项目进行过改造和整合，比一般的生产环境中的真实项目的技术含量，还要高；业务上来说，除了对一些数据格式和琐碎的业务细节，进行了必要的简化（对大家学习没有任何意义），表中的字段（需要使用的），脏数据（清洗），业务的真实性和复杂性是非常高的，基本上就是完全的完整的一个企业真实项目；

实际企业中的讲师做过的这个项目，模块会达到几十个（二三十个）；各个模块之间，做多了会发现，就是业务上有一些不同；其实技术上，基本都涵盖在咱们这个项目课程中了；技术给掌握了，去做任何用户行为分析类的项目，或者是业务需求，都ok，都没有问题的；本项目课程中，涵盖的4个模块，都是非常经典的4个模块

广告点击流量实时统计模块

网站 / app，是不是通常会给一些第三方的客户，打一些广告；也是一些互联网公司的核心收入来源；广告在网站 / app某个广告位打出去，在用户来使用网站 / app的时候，广告会显示出来；此时，有些用户可能就会去点击那个广告。

广告被点击以后，实际上，就是要针对这种用户行为（广告点击行为），实时数据，进行实时的大数据计算和统计。

每次点击一个广告以后，通常来说，网站 / app中都会有埋点（前端的应用中，比如JavaScript Ajax；app中的socket网络请求，往后台发送一条日志数据）；日志数据而言，通常，如果要做实时统计的话，那么就会通过某些方式将数据写入到分布式消息队列中（Kafka）；

日志写入到后台web服务器（nginx），nginx产生的实时的不断增加 / 更新的本地日志文件，就会被日志监控客户端（比如flume agent），写入到消息队列中（kafka），我们要负责编写实时计算程序，去从消息队列中（kafka）去实时地拉取数据，然后对数据进行实时的计算和统计。

这个模块的意义在于，让产品经理、高管可以实时地掌握到公司打的各种广告的投放效果。以便于后期持续地对公司的广告投放相关的战略和策略，进行调整和优化；以期望获得最好的广告收益。