Goaccess安装与使用

最近项目中需要对nginx日志文件进行分析，于是使用goaccess工具进行操作。
goaccess官网：https://goaccess.io/

goaccess的安装(linux服务器操作)

1、下载
wget http://tar.goaccess.io/goaccess-0.9.8.tar.gz
或axel -n 5 http://tar.goaccess.io/goaccess-0.9.8.tar.gz
2、解压
tar -xzvf goaccess-0.9.8.tar.gz
3、configure
cd goaccess-0.9.8/
./configure –prefix=/u02/goaccess
4、编译并安装
make && make install
PS:我这边将goaccess安装在/u02/goaccess目录下了。

使用goaccess对nginx日志文件进行分析

项目中使用shell脚本利用goaccess对nginx日志生成json和html文件，并通过接口上传到别的服务器上显示结果，脚本goaccessDealLog.sh 内容如下：

#!/bin/sh
#goaccess
build_json()
{nginx_path="/usr/local/nginx"`/u02/goaccess/bin/goaccess -f ${nginx_path}/logs/access_$(date -d "yesterday" +"%Y%m%d").log -p ~/.goaccessrc -a > /u02/dab/jsonFile/$(date -d "yesterday" +"%Y%m%d").html``/u02/goaccess/bin/goaccess -f ${nginx_path}/logs/access_$(date -d "yesterday" +"%Y%m%d").log -p ~/.goaccessrc -a -o json >/u02/dab/jsonFile/$(date -d "yesterday" +"%Y%m%d").json`curl 127.0.0.1:7001/leo-static/parseLog/parseNgixJson.do --data @/u02/dab/jsonFile/$(date -d "yesterday" +"%Y%m%d").jsoncurl 127.0.0.1:7001/leo-static/parseLog/loadHtmlFile.do?source=leomb\&type=html --data @/u02/dab/jsonFile/$(date -d "yesterday" +"%Y%m%d").html
}build_json
~

脚本每天上午8点执行一次：

0 8 * * * nohup /u02/dab/log_analyze/goaccessDealLog.sh > /u02/dab/log_analyze/goaccessDealLog.log &

goaccess部分参数说明：
-f 指明目标文件
-p 按照指定配置文件格式输出，如果指定默认使用conf下面的goaccess.conf
-o 指定生成文件的格式，如json,csv等
-a 显示出useragent。Enable a list of user-agents by host

附：
.goaccessrc文件内容：

time-format %T
date-format %d/%b/%Y
log-format %h %^[%d:%t %^] "%r" %s %b "%R" "%u"