【CLS数据淘金第四期】网络流日志-云联网日志分析

导语

云联网（Cloud Connect Network，CCN）云联网覆盖全球 20+ 地域，提供云上私有网络间（VPC）、VPC 与本地数据中心间（IDC）内网互联的服务，具备全网多点互联、路由自学习、链路选优及故障快速收敛等能力。

用户可使用日志服务（Cloud Log Service，CLS）更快速便捷的采集云联网流日志，并通过 CLS 提供的检索分析、仪表盘、告警等功能发现与定位云联网问题，支撑业务服务。

云联网流日志分析场景

预警业务问题

小秦是某在线教育产品的运维人员。在线教育师生遍布多地域，VPC 众多，要求直播平台搭建覆盖多地域的高质量互联，保证在跨地域传输视频和语音清晰、无延迟。

在这种情况下，云联网服务成为了不二选择。

使用云联网后，远隔两地的的老师和同学，终于可以无延迟的沟通了。但是在课程高峰期，因为带宽限制，还是会有部分同学出现卡顿。为了保证服务质量，需要在流量激增时及时发现并扩大带宽。

为此，小秦通过 CLS 日志服务对云联网流日志进行监控告警。监控被拒绝流量的占比情况。

如图所示，每隔 5 分钟，查询近 5 分钟内被拒绝流量的占比情况。当占比大于 1% 时，触发告警。语句如下：

log-status:OK | select round(sum(case when action = 'REJECT' then 1.00 else 0.00 end) / cast(count(*) as double) * 100,2) as "reject占比(%)"

定位并解决业务问题

转眼又是一个开学季，这天小秦的手机、邮箱，相继收到云联网被拒绝流量的占比告警通知。

小秦打开 CLS 的 CCN 流日志_高级分析仪表盘，在顶部过滤出流量类型为 REJECT（被拒绝）的流日志。

然后查看被拒绝流量的线路分布，发现集中在 ap-guangzhou 与 ap-shanghai 两个地域间。

分析语句如下：

log-status:OK | select concat(concat('srcRegion : ',srcregionid, ' , dstRegion : '), dstregionid) as region, sum(bytes) as bytes group by region order by bytes desc limit 20

小秦再查看被拒绝流量的源目 IP 分布，IP 对占比分布状况均匀，排除了个别 IP 恶意挤占带宽的情况。

分析语句如下：

log-status:OK | select sum(bytes) as total, concat(concat('srcIP : ',srcaddr, ' , dstIP : '), dstaddr) as region_ip group by region_ip order by total desc limit 20

接下来小秦又查看了被拒绝流量的协议与端口分布，协议与端口占比没有集中在某一类上，排除因协议与端口原因导致被拒的情况。

分析语句如下：

log-status:OK | select sum(bytes) as bytes,concat(concat(concat(cast(protocol as varchar),' srcport:'),srcport,' dstport:'),dstport) as protocol group by protocol limit 10

最后，小秦认为，此次被拒绝流量占比增加，是该线路正常使用的用户激增导致的，需要进行带宽的扩容。

于是小秦查看了该线路的带宽趋势。发现 ap-guangzhou TO ap-shanghai 线路与 ap-shanghai TO ap-guangzhou 线路当前峰值都在 7Gb/s 左右。

分析语句如下：

log-status:OK | select histogram(cast(__TIMESTAMP__ as timestamp), interval 1 MINUTE) as time, sum(bytes)/60.00*8 as bandwidth, concat(concat('srcRegion : ',srcregionid, ' , dstRegion : '), dstregionid) as region_ip group by time, region_ip limit 10000

带着以上结论，小秦登录腾讯云云联网控制台，调整了两条线路的带宽上限，快速解决了本次业务问题！让同学们获得了高质量的学习体验。

Demo 体验

CLS 日志服务提供免费的 CCN 云联网流日志 Demo 快速体验，一键开箱即可使用，全景体验 CCN 检索分析、预置仪表盘、实时告警等功能。

更多日志服务相关前沿技术与实现、产品动态，可关注腾讯云 CLS 公众号。

【CLS数据淘金第四期】网络流日志-云联网日志分析相关推荐

Day04| 第四期-谷歌应用商店的App分析
01 前言我们每天都在使用从手机应用商店里下载的App,有没有想过什么样的App是最受欢迎的呢?一个最直接的方法, ...
【墨天轮专访第四期】华为云GaussDB苏光牛：发挥生态优势，培养应用型DBA
导读: 随着5G互联网时代的来临,各行各业对于数据库的依赖程度也在逐步提高.由于国内在数据库行业的发展起步较晚,数据库的市场份额长期被Oracle,微软等美国公司所控制.但是伴随着国内IT技术栈的不断 ...
【墨天轮专访第四期】华为云GaussDB：发挥生态优势，培养应用型DBA
导读: 近期,受墨天轮平台邀请,华为云数据库业务负责人苏光牛先生接受了其策划的"国产数据库"话题专访,就一些与国产数据库相关的社会讨论度较高.网友较为关心的问题做了分享,阐释了华为 ...
湖上建仓全解析：如何打造湖仓一体数据平台 | DEEPNOVA技术荟系列公开课第四期
如今,面对数字化快速发展带来的挑战,现代化企业需要打破以往数据的孤岛,让数据从采集.加工.管理到应用,是统一的数据存储和数据处理,甚至是作为全栈式的湖仓一体数据平台,以支撑各类数据赋能业务,进而创造更 ...
高级转录组调控分析和R语言数据可视化第十四期（线上线下开课）
福利公告:为了响应学员的学习需求,经过易生信培训团队的讨论筹备,现决定安排扩增子16S分析.宏基因组.Python课程.转录组线上直播课.报名参加线上直播课的老师可在365天内选择参加同课程的一次线下 ...
第四期：有关大数据相关问答汇总，持续更新中~
NO.1 大数据为什么这么"火"?为什么那么多人转型学大数据? 回答一:身为数据极客,在2017年应该能感觉很幸福. 去年,我们曾经问过大家"大数据还是个值得关注的大事吗 ...
第四期：有关大数据相关问答汇总，持续更新哦~
NO.1 大数据为什么这么"火"?为什么那么多人转型学大数据? 回答一:身为数据极客,在2017年应该能感觉很幸福. 去年,我们曾经问过大家"大数据还是个值得关注的大事吗 ...
2018年第四期全国高校大数据核心技术应用实战师资研修班在在广东番禺开幕
大数据时代悄然来临,带来了信息技术发展的巨大变革,并深刻影响着社会生产和人们生活的方方面面,大数据的发展离不开专业人才,高校承担着培养大数据人才的重任.尽快形成成熟完善的培养方案.课程体系.系列教材. ...
【送书福利-第四期】从程序员到架构师：大数据量、缓存、高并发、微服务、多团队协同等核心场景实战书籍
大家好,我是洲洲,欢迎关注,一个爱听周杰伦的程序员.关注公众号[程序员洲洲]即可获得10G学习资料.面试笔记.大厂独家学习体系路线等-还可以加入技术交流群欢迎大家在CSDN后台私信我! 送书福利-第四 ...

【CLS数据淘金第四期】网络流日志-云联网日志分析

【CLS数据淘金第四期】网络流日志-云联网日志分析相关推荐

最新文章

热门文章