cdn perl_用perl对CDN节点日志进行统计
前段时间公司运维部门要求我对CDN节点的日志进行分析,具体要求如下
1、输入参数为文件名,支持统配。文件为gz压缩,可用zcat解压。统配的多个文件,
必须是一天内的。
2、文件内为一条条的访问日志。格式如下:
2011-01-02 15:55:01 122.245.127.73
"/down.eebbk.net/xzzx/h1sp/\xb8\xdf\xd6\xd0\xc9\xfa\xce\xef\xb1\xd8\xd0\xde2
\xc8\xbe\xc9\xab\xcc\xe5\xb1\xe4\xd2\xec(\xb6\xfe).avi" 206 11568567 3316812
"http://www.eebbk.com/downlist.asp?sid=12814&classid=17356&tinyclassid=17374
&dhbig=\xbb\xc6\xb8\xd4\xbf\xce\xcc\xc3&dhsmall=\xb8\xdf\xd6\xd0\xb1\xd8\xd0
\xde2&dhtiny=\xc9\xfa\xce\xef&title=\xca\xd3\xc6\xb5\xd1\xa7\xcf\xb0xbb\xfa
H1&mode=6846" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET
CLR 1.1.4322; .NET CLR 2.0.50727)"
3、该条日志中,2011-01-02 15:55:01 为日志时间点。其基准时间点的计算方法为,
将该时间点转换为标准的秒,再模300,得到基准时间点。如15:55。再比如,
18:23:08,其基准时间点位18:20。
4、该条日志中,表示应用层在3316812 毫秒,输出了11568567 字节。该信息折算到日
志统计上,是按如下处理:
--3316812 毫秒为 3316812/300000+1 = 11+1 = 12个日志计费点。(每个日志计费点
代表一个5分钟的区间)
--11568567字节平均分到12个日志计费点上,为该记录在该计费点上的带宽占用。如
11568567/12/300=3213bps
5、则该日志的流量将给15:00、15:05、15:10、15:15、15:20、15:25、15:30、
15:35、15:40、15:45、15:50、15:55这12个基准时间点,每个增加3123bps的值。
6、要求统计所有指定日志文件综合的各基准时间点的带宽
7、将各基准时间点的带宽值以如下格式输出显示:
time bps
00:00 1903342
00:05 1833133
....
23:55 2312342
Total Traffic
8、由于该程序将是手动运行在Apache服务器上的。所以程序要轻量级,同时不用占用
太多的磁盘。或许比较理想的是直接处理zcat的输出。(服务器上没有php)
我花了5个小时,先写出了一个单线程的程序,后来又改为多线程,感觉用perl写起来比较快,之间学会了用parsewords进行解析日志,parsewords太好用了。
执行命令:perl analy_log.pl CT-ZHZ-1-N004-A-bbg04_2011010414*
测试结果,分析几十M的压缩日志,才2秒多
cdn perl_用perl对CDN节点日志进行统计相关推荐
- Incapsula免费日本CDN加速和CDNZZ香港CDN节点加速
Incapsula免费日本CDN加速和CDNZZ香港CDN节点加速 免费的CDN对于那些将空间放在美国的博客网站加速效果是最好的,CDN可以解决国内连接美国的网络线路经常抽风和访问速度时好时坏的问题, ...
- CDN应用进阶 | 正确使用CDN 让你更好规避安全风险
简介:为了帮助用户更好地了解和使用CDN产品,CDN应用实践进阶系统课程开课了.12月17日,阿里云CDN产品专家彭飞在线分享了<正确使用CDN,让你更好规避安全风险>议题,解读使用CDN ...
- 网站如何配置CDN加速?网站域名接入腾讯云CDN的步骤(附CDN防御)
目录 什么是CDN? CDN原理: 接入CDN加速后有什么作用? 网站域名接入CDN加速的步骤 1.开通CDN服务 2.接入域名 3.配置CNAME CDN防御配置 1.用量封顶配置 2.防盗链配置 ...
- CDN服务及如何获取CDN服务背后的真实IP
#CDN原理 首先,为了对CDN进行获取真实IP,我们必须清楚CDN的工作原理,这里我们再来简单介绍一下CDN的工作模型. CDN的全称是Content Delivery Network(内容分发网络 ...
- CDN下一城 星域CDN发布直播新品
今日,星域CDN发布了直播新品"星域CDN•直播旗舰版"和"星域CDN•直播极速版".网心科技CEO.迅雷联席CEO陈磊表示,星域CDN直播新品将以创新技术.腰 ...
- 星域CDN荣获2016“最值得信赖CDN解决方案奖”
[51CTO.com原创稿件]近日,网心科技倾力打造的新一代互联网内容分发网络--星域CDN,凭借其出色的技术实力,用户的信赖,以及业界对其产品和服务能力的高度认可,在51CTO主办的2016年IT印 ...
- 星域cdn概念股票_星域CDN获工信部牌照 CDN行业步入规范时代
2017年8月7日,星域CDN正式获得工信部发放的CDN(内容分发网络)业务经营许可证,成为首个获得官方牌照的创新型专业CDN.在CDN牌照时代,创新型专业CDN服务商将与业内众多合作伙伴一起,推动国 ...
- 摩杜云出席2021亚太CDN峰会,荣获“融合CDN创新奖”
6月9日,2021亚太内容分发大会暨CDN峰会在北京盛大开幕.该峰会不仅邀请到了阿里云.腾讯云等一线云计算厂商,同时还有中兴.网宿科技等传统CDN产业核心成员,是全球内容流量技术和运维领域最重要.规模 ...
- 让博客同时使用Gcore CDN、天御云CDN和Cloudflare CDN(可以自选IP)
本文转载于我的博客 让博客同时使用Gcore CDN.天御云CDN和Cloudflare CDN(可以自选IP) - GoodBoyboy 's Blog|惬意小屋-点滴记忆 填坑 拖了这么久,今天终 ...
最新文章
- React Native 'config.h' file not found
- 《系统集成项目管理工程师》必背100个知识点-71合同变更控制系统
- Qt 4.8.4 Qt Creator 2.6.1 安装和配置(Windows)
- mammary cancer关联规则挖掘详解
- 计算机对口高考文化试卷,计算机对口高考模拟试卷
- ES和Kibana在docker中的安装
- 易优模板标签生成器发布(2018.9.12)
- python有什么证可以考1002python有什么证可以考_离python二级考还有十几天,吓的我赶紧买了本python教程...
- autorun.inf sxs.exe病毒手动解决方法
- 论文笔记《BERT》
- HDU 4417 Super Mario 主席树
- 学习React之前你需要知道的的JavaScript基础知识
- PUBG雷蛇鼠标宏,简单易学,有手就行。
- 《麦肯锡方法》读书笔记12
- Ubuntu下安装Qt
- linux脚本的注释符号是什么,Shell中的变量和符号
- 使用 Visio 绘制卷积示意图
- 面向对象期末第三阶段
- 北京华宇南航宣讲面试
- 抖音小店入驻条件及费用最新版,2022抖音开店,商家入门指南