本文档以 Nginx 日志为例,介绍如何使用日志分析服务来分析 Nginx 日志中的各种指标。

许多个人站长选取了 Nginx 作为服务器搭建网站,在对网站访问情况进行分析时,需要对 Nginx 访问日志统计分析,从中获取网站的访问量、访问时段等信息。传统模式下利用 CNZZ 等方式,在前端页面插入 js,用户访问的时候触发 js,但仅能记录访问请求,像 ajax 之类的请求无法记录,还有爬虫信息也不会记录。或者利用流计算、离线统计分析 Nginx 的访问日志,但需要搭建一套环境,并且在实时性以及分析灵活性上难以平衡。

智能日志平台支持大规模的日志搜索分析,支持配置报表可视化呈现分析结果,并将分析结果保存到仪表盘(Dashboard),极大的降低了 Nginx 访问日志的分析复杂度,可以用于便捷统计网站的访问数据,降低了站长们分析 Nginx 日志的门槛。

步骤1:采集 Nginx 日志

通过 logkit-pro 采集 Nginx 日志到日志分析平台。参考采集 Nginx 日志。

步骤2:查询分析

进入智能日志平台搜索页面,开始搜索分析 Nginx 日志内容。

1.可以通过输入搜索条件对日志进行简单的过滤分析。

2.切换日志搜索结果到可视化 tab,通过配置报表对日志内容进行更全面深入的分析。

如:

分析过去 1 小时的 UV(即独立 IP 访问总数):选择图表类型为折线图,指标为 remote_addr(客户端 IP 地址)的去重计数,根据时间字段分组:

点击添加到仪表盘,输入仪表盘名称和此图表名称,将图表加入指定仪表盘。

分析 PV(即请求总数):选择图表类型为折线图,指标为计数,根据时间字段分组。

分析 ip 来源分布:选择图表类型为饼图,指标为计数,分组字段为 remote_addr。

分析最近 5 分钟各种请求的占比:选择图表类型为饼图,指标为计数,分组字段为 request。

分析最近 1 小时各种 http 状态码的占比:选择图表类型为饼图,选择指标为计数,分组字段为 status。

分析最近一天访问 PV 前 5 的来源信息:选择图表类型为柱状图,选择指标为计数,分组字段为 http_referer(来源地址)。

最近一小时用户来源浏览器的占比情况:选择图表类型为饼图,指标为计数,分组字段为http_user_agent(浏览器相关信息)。

除了一些默认的访问指标外,站长常常还需要对一些访问请求进行诊断,查看一下处理请求的请求时间如何,哪些页面的请求时间比较大。

每 5 分钟的平均请求时间和最大请求时间,从整体上了解请求时间:

选择图表类型为折线图,指标为 request_time 的平均值,按照时间字段分组,以 5 分钟的粒度聚合:

选择图表类型为折线图,指标为 request_time 的最大值,按照时间字段分组,以 5 分钟的粒度聚合:

知道了最大请求时间之后,需要明确最大请求时间对应的请求来源,以方便进一步优化页面响应。

选择图表类型为柱状图,指标为 request_time 的最大值,分组字段为 request。找出最大请求时间对应的请求页面。

找到了访问请求时间最大的页面,为了对该页面进行调优,接下来需要统计该页面的访问 PV、UV、各种 method 次数、各种status 次数等。

得到以上数据后,就可以对网站的访问情况进行有针对性的详细评估。更多报表的操作方式请阅读报表与仪表盘。

更详细的 Nginx 日志分析教程请阅读 Nginx 日志分析。

步骤3:在仪表盘对数据统一监控

进入仪表盘列表,找到保存图表时创建的仪表盘。

在仪表盘详情页,您可以对图表进行统一管理以及实时监控数据。

1.仪表盘支持自动刷新,您可以根据需要自定义刷新时间。

2.仪表盘支持灵活控制图表显示时间,除了全局调整仪表盘所有图表的时间范围以外,您也可以对单个图表单独设置时间范围。

3.使用大屏功能对图表进行监控。

4.在仪表盘点击任意感兴趣的数据,即可下钻进入日志详情页面。

点击下钻以后:

仪表盘也支持编辑图表等操作,详情请阅读仪表盘。

php 监控nginx日志文件,Nginx 日志分析及实时监控相关推荐

  1. nginx(官方安装) Nginx相关文件 Nginx模块 location

    文章目录 案例 部署nfs+sersync 1.backup 2.nfs 下载nginx并安装 配置nginx小游戏页面 1.nginx 2.因为nginx无法处理动态请求,所以这里我们需要安装php ...

  2. Zookeeper日志文件事务日志数据快照

    Zookeeper持久化两类数据,Transaction以及Snapshot,logDir存储transaction命令,dataDir存储snap快照,其下子目录名称以version-2命名,子目录 ...

  3. logback多进程写同一日志文件导致日志混乱问题

    记录一次logback多进程写同一日志文件导致日志混乱问题 参考该博客解决问题

  4. java分析日志文件_java程序如何对监控软件的日志文件进行如下分析?

    一个监控软件的日志文件,内容如下: 日期               时间          接口       设备      状态 2016-09-01   08:00     J1         ...

  5. zabbix监控服务器日志文件,Zabbix对服务器资源进行监控及百度告警的整合

    Zabbix介绍 跟nagios一样是一款开源的服务器资源监控软件.达到企业级对万百上千台服务器.虚拟机.网络设备进行实时监控. 安装 安装环境:Centos 6.5,相关的下载地址在 1.yum安装 ...

  6. linux取整个日志文件,高效日志分析 - 人人必学的awk

    作为每一个Linux发行版本都会内置的文本处理程序,awk是快速分析日志的不二之选. 服务日志分析是对了解服务状况.发现问题的最有效的手段.最近发现很多同学在分析服务日志的时候走了弯路:选择使用编程( ...

  7. 磁盘阵列介绍、进程的查看管理、日志文件的查看分析,systemctl的控制

    RAID磁盘阵列 • 廉价冗余磁盘阵列 – Redundant Arrays of Inexpensive Disks – 通过硬件/软件技术,将多个较小/低速的磁盘整合成一 个大磁盘 – 阵列的价值 ...

  8. 分析mysql日志文件_MySQL日志文件与分析

    1.查询日志.慢查询日志.二进制日志对比 查询日志 general_log 会记录用户的所有操作,其中包含增删查改等 可以指定输出为表 慢查询日志 slow_log 只要超过定义时间的所有操作语句都记 ...

  9. 分析linux相关日志文件,Linux日志系统与分析.pdf

    Linux日志系统与分析 1 目录  Linux日志系统简介  Linux日志分析  案例介绍: Linux日志入侵发现 Linux日志系统简介  日志的主要用途是系统审计.监测追踪和分析统计 ...

最新文章

  1. 2021年大数据常用语言Scala(九):基础语法学习 break和continue
  2. 小于60的数中能被1到10整除的数量
  3. 高地址和低地址、高字节低字节、大小端模式的转换,存储顺序
  4. 读完这10本书,“大数据”对你来说,或许就是小菜一碟
  5. [考试]20151008
  6. VC 获取Windows所有用户的用户名
  7. iphone实用配置工具_除了让你买买买,苹果官网还隐藏着这些实用网页工具
  8. C语言复变函数PPT,C语言中如何应用复变函数
  9. [NOIP2016 提高组] 玩具谜题
  10. 计算机网络系统是由计算机系统,计算机网络由哪几部分组成?
  11. 高级编程技术,第三周
  12. windows 时间同步工具软件
  13. 常用的软件(百度网盘分享:永久有效)
  14. XP系统电脑开机桌面上什么文件都没有啦怎么办
  15. DBA与项目的那堆事 ——目录
  16. freemarker之页面静态化
  17. 通俗易懂-SSM三大框架整合案例(SpringMVC+Spring+Mybatis)
  18. vlookup匹配值不唯一_十大Vlookup常见错误!
  19. 计算机毕业设计springcloud房产销售平台
  20. 计算机在盲童音乐教学中的具体应用,盲童钢琴教学实践和教学方法探究

热门文章

  1. pta 念数字(C语言实现)
  2. m基于GA遗传优化的GRNN广义回归神经网络销售数据预测算法matlab仿真
  3. angular项目中配置文件实践
  4. 摄像头/视频读取_写入
  5. 【git】vscode敲stash相关命令Too many revisions specified
  6. 浅析移动端安全通信技术端到端加密
  7. thinkphp设置excel表格的单元格边框颜色样式
  8. C++成长之路(03)
  9. Unity小结-优化
  10. 2021年安全员-C证考试技巧及安全员-C证实操考试视频