10分钟搭建MySQL Binlog分析+可视化方案
日志服务最近在原有 30+ 种数据采集渠道 基础上,新增 MySQL Binlog、MySQL select 等数据库方案,仍然主打快捷、实时、稳定、所见即所得的特点。
以下我们以用户登录数据库作为案例。公司内非常多的人员依赖于用户登录数据以及其衍生出来的相关数据:
老板要看大屏,每天 UV、PV 增长在哪里?
安全要监控登录是否异常,现在用户账户是否遭到集体攻击?
客户小二接到用户反馈,如何实时查询用户登录信息?
BI需要分析用户行为,数据分析如何关联用户登录数据?
审计上门了,请把您3年前用户的登录数据拿出来吧?
接下来我们将演示如何在10分钟内手把手完成从 binlog 采集到查询、告警、搭建报表等全过程,满足各个老板们的需求:
MySQL Binlog 采集
关键字段索引+统计设置
对异常账号进行查询分析
对异常登录进行告警
配置可视化仪表盘
对历史登录信息备份以备数据审计
环境准备
数据库
MySQL 类型数据库(使用 MySQL 协议,例如 RDS、DRDS 等),数据库开启 binlog,且配置 binlog 类型为 ROW 模式(RDS 默认开启)
用户登录表结构
用户登录表中记录了登录 id、登录时间、登录 ip、登录设备、用户 id、登录结果、连续登录失败次数、下一次校验类型等信息。其中登录验证规则如下:
正常情况只验证账号密码匹配
若用户连续登录失败超过3次或者当前ip和上次登录ip不在同一省,下次登录将弹出验证码
若用户连续登录失败超过5次,则下次登录将使用手机验证码
用户登录时表的更新方案
方案1:
每次用户登录,在 user_login 中新增一条记录,记录登录的ip、设备类型、时间信息
方案2:
考虑到用户数量非常多,如果每次用户登录都在 user_login 中新增一条记录,数据量会非常大,所以每次用户登录时,只会根据 user_id 更新 update 表中的数据
对于方案1,优点是数据库中保存了所有用户的登录信息,缺点是 user_login 表会存在爆掉的问题,需要定期删除历史的数据;对于方案2,优点是 user_login 表的大小可控,缺点是会丢失历史用户的登录信息。
这里我们推荐使用方案 2+logtail binlog 采集组成最优的方案3:用户最近一次登录信息依然保存在数据库中,通过 logtail 的 binlog 功能采集 user_login 表,logtail 会将表中的每次修改事件上传到日志服务,日志服务中的数据可设置保存时间,超时自动删除。同时在日志服务中,可以对实时采集上来的数据进行查询、统计、查看报表、监控报警,也支持将数据对接下游流计算、导入 Max Compute/OSS 等。
数据采集
安装 logtail
根据文档安装 logtail,确认版本号在0.16.0及以上。若低于0.16.0版本请根据文档提示升级到最新版本。
采集配置
在日志服务控制台创建一个新的 Logstore,采集向导中选择自建软件中的 Mysql binlog
在配置页面中输入 binlog 采集配置,如下:
注意:
数据库开启 binlog 且为 ROW 模式(RDS 默认支持),使用的账户具有 mysql slave 权限以及需要采集的数据表的 select 权限。
binlog 支持 IncludeTables 和 ExcludeTables 过滤,格式均为正则表达式
其他请参考 binlog 采集中使用限制
建立索引
配置应用到机器组后,进入索引查询配置页面。在键值索引属性中配置以下索引项:
数据预览
应用配置1分钟后,点击预览可以看到状态数据已经采集上来(logtail 的 binlog 采集会额外上传数据操作类型、GTID 等信息):
对于修改的事件,Logtail 会同时采集修改前和修改后的数据,修改前的数据以 old_开头。因此我们可以基于修改前后的数据对比查找登录ip变化的相关记录。
注意: 若无数据,请检查配置是否为合法 json;若配置正常,请参考数据采集异常排查文档自助排查
自定义查询与分析
到这一步我们就可以满足客服和 BI 的需求了:查询/关联查询。例如:
用户反馈账号信息被篡改了,客服通过日志服务,查询该用户从上次登录到现在的登录信息:login_id : 256525,发现其中有一条登录日志;继续查询登录地址login_id : 256525 | select ip_tp_province(login_ip) as login_province, ip_tp_country(login_ip) as login_country,发现是在国外登录的,因此很有可能该用户账号泄漏或被攻破了。
用户反馈自己的账号被限制登录了,客服通过日志服务,查询该用户限制登录前的相关登录信息:login_id : 256525 | select ip_tp_province(login_ip) as login_province, login_result, count(1) as total group by (login_province,login_result) order by total desc limit 100,发现该用户在多个省异常登录失败了很多次。
查询相关使用帮助参见日志服务查询
用户登录大盘
现在我们来搭建 CEO 要的大盘,先准备一些基础的统计信息:
统计一天的 UV&PV
select count(distinct(usr_id)) as uv, count(1) as pv
查看登录设备分布
select dev_type, count(1) as count group by dev_type
每5分钟统计 UV&PV 分布
select count(1) as uv, count(distinct(usr_id)) as pv, from_unixtime( __time__ - __time__ % 300) as time group by __time__ - __time__ % 300 order by time limit 1440
统计地理位置分布
由于原始的数据中没有用户登录的地理位置分布信息,但我们可以通过ip地址定位到用户登录的省市,这里我们使用日志服务自带的ip地址转换函数(具体参见分析语法IP识别函数章节)
统计 top10 的 city(使用 ip_to_city)
select ip_to_city(login_ip) as login_city, count(1) as count group by login_city order by count desc limit 10
统计省份分布(使用 ip_tp_province)
select ip_tp_province(login_ip) as login_province, count(1) as count group by login_province order by count desc limit 100
用户登录大盘搭建
根据上一节的统计结果,我们搭建出了用户登录信息的仪表盘,可以向 CEO 汇报了。
仪表盘搭建参见日志服务仪表盘设置
异常登录告警
异常登录都会有误判的可能性,因此正常情况下会有少部分异常登录的情况,但异常登录占比要小于1%。这里我们为用户登录设置一个异常登录的告警:若当异常登录占总登录的1%则触发告警。
SELECT sum( CASE WHEN ip_tp_province(login_ip)!=ip_tp_province(old_login_ip) then 1 ELSE 0 end ) *1.0 / count(1) as abnormal_login_percentage
将该查询存为快速查询 abnormal_login,并设置告警。
告警设置参见日志服务告警设置
数据备份
用户登录数据,一般建议在日志服务存储一段时间(30天、半年、1年等)用于实时的查询和分析,但对于历史数据还需要保存下来,便于后续的审计、大数据挖掘与分析等。这里我们使用日志服务的投递功能,将数据投递到 OSS 进行长期的归档存储。审计员来了想看多少年前的数据都有!
转自:『云栖社区』公众号
资源下载
关注公众号:数据和云(OraNews)回复关键字获取
‘2017DTC’,2017 DTC 大会 PPT
‘DBALIFE’,“DBA 的一天”海报
‘DBA04’,DBA 手记4 经典篇章电子书
‘RACV1’, RAC 系列课程视频及 PPT
‘122ARCH’,Oracle 12.2 体系结构图
‘2017OOW’,Oracle OpenWorld 资料
‘PRELECTION’,大讲堂讲师课程资料
10分钟搭建MySQL Binlog分析+可视化方案相关推荐
- 10分钟搭建服务器集群——Windows7系统中nginx与IIS服务器搭建集群实现负载均衡...
10分钟搭建服务器集群--Windows7系统中nginx与IIS服务器搭建集群实现负载均衡 原文:10分钟搭建服务器集群--Windows7系统中nginx与IIS服务器搭建集群实现负载均衡 分布式 ...
- AliOS Things+阿里云 10分钟搭建智慧农业解决方案
AliOS Things+阿里云 10分钟搭建智慧农业解决方案 1.1 样品介绍 在工业.农业物联网布线场景中以MODBUS类型为主,样品提供MODBUS类型传感器硬件和软件快速接入方案,并将传感器数 ...
- 使用和风天气 API 10分钟搭建天气预报数据看板
本文首发:<使用和风天气 API 10分钟搭建天气预报数据看板)> 使用和风天气 API 10分钟搭建天气预报数据看板 第 1 步:注册和风天气 API 及卡拉云 (1)注册和风天气 AP ...
- pythonhelloworld项目,10分钟搭建一个小型网页(python django)(hello world!)
10分钟搭建一个小型网页(python django)(hello world!) 1.安装django pip install django 安装成功后,在Scripts目录下存在django-ad ...
- 音视频开发(23)---音视频直播技术--10分钟搭建好直播平台
音视频直播技术--10分钟搭建好直播平台 前言 今天给大家讲一下如何搭建最简单的音视频直播平台.在之前的文章中我已经给大家介绍过音视频直播技术架构,没看过的同学可以看一下.了解了直播的技术架构,我们就 ...
- 10分钟搭建树莓派NAS私有云和KODI影音播放系统 (1)---树莓派4B重大提升,脱胎换骨
在这之前,我们先来了解下树莓派4b有哪些提升,对于接下来的使用来说有哪些意义. 什么是树莓派呢?这个我就不在这里累述了,不清楚的小伙伴可以搜索了解下.我们重点介绍下树莓派4B,很多小伙伴其实并不太了解 ...
- 数据分析初学者必备!10分钟搭建RFM客户价值模型,一学就会
假设你是一家理财公司的市场运营,公司最近推出了一系列新产品,涵盖高.中.低三档,你手里有一份客户名册,你会如何向他们推广? 向所有客户发送统一的推广? 省时省力,但可想而知效果不佳...... 与每一 ...
- 10分钟搭建你的第一个图像识别模型(附步骤、代码)
作者:Pulkit Sharma 翻译:王威力 校对:丁楠雅 本文约3400字,建议阅读10分钟. 本文介绍了图像识别的深度学习模型的建立过程,通过陈述实际比赛的问题.介绍模型框架和展示解决方案代码, ...
- 网站添加用户名和密码_实测 | 10分钟搭建一个 WordPress 网站,便宜、快捷、稳定...
经过我实测,大概10分钟左右建好了一个 WordPress 站点,站点为:boyzcl.com,感兴趣的可以去看看,目前还没有配置WP主题,后续会同步一下文章,以及某些不太方便说的内容. 不过我的10 ...
最新文章
- opencv的ROI操作
- 通用电气Predix改革客户运作的三大用途
- 2020年华科计算机考研机试题答案(没弄懂题目的意思)
- 犀利的 JavaScript
- 【学习】程序员技术练级攻略
- OneAPM CI与阿里云容器服务集成
- java swing 串口_ComTest 接收串口数据,并显示在文本框内,通过JavaSwing实现 Develop 265万源代码下载- www.pudn.com...
- mysql 常用的列类型_MySQL 常用列类型
- 一个 Python 报表自动化实战案例
- java 接口 白名单,SpringBoot HTTP接口跨域调用及白名单实现
- ProcessOn画图
- 「陶哲軒實分析」 習題 3.4.4
- 智能小车——循迹、避障小车(附详细代码)
- QQ产品界面变更之路
- 批处理清空文件夹内所有txt文件的内容
- java 本地连接状态_本地连接受限制
- 100句温柔又体贴的话
- 干货满满~阿里天池目标检测保姆级教程
- IPD需求和市场管理流程
- 计算机技术调剂控制工程,控制工程294求调剂 - 考研 - 小木虫 - 学术 科研 互动社区...
热门文章
- 2017年大白菜系统操作说_为什么操作系统在2017年更重要
- github atom_虚幻竞技场开放,GitHub发布了开源的Atom编辑器,等等
- 新特性 | Java8 的这个特性,用起来真的很爽!
- 堆、队列、栈、链表对比
- 有关java的参考软件_Java的相关的排序实现(参考软件设计师教程)
- 整个计算机系统结构图,计算机系统结构复习(16页)-原创力文档
- android+word转html,word与html互转(1) -- word转html
- 坐标或测量值超出范围
- ASP.NET MVC 中@Html.Partial,@Html.Action,@Html.RenderPartial,@Html.RenderAction
- 【转】C# HttpWebRequest提交数据方式