在工作中，开发希望能从Nginx日志中获取POST的数据信息，先记录下来

在日志格式后面加上 $request_body 配置信息

log_format main '$remote_addr - $remote_user [$time_local] "$request" '

'$status $body_bytes_sent "$http_referer" '

'"$http_user_agent" "$http_x_forwarded_for" $request_body';

在server中添加打印日志的操作

access_log logs/access.log main;

本以为问题解决了，开发有要求在日志中添加上 服务器响应返回的数据

目前的 nginx 是不支持输出 response 报文体的 使用body_filter_by_lua来分配请求报文体给一个nginx变量。下面是一个示例

1：下载安装LuaJIT

# wget http://luajit.org/download/LuaJIT-2.0.2.tar.gz

# tar -xzvf LuaJIT-2.0.2.tar.gz

# cd LuaJIT-2.0.2

# make

出现如下内容表示编译成功

OK Successfully built LuaJIT

make[1]: Leaving directory `/usr/local/src/LuaJIT-2.0.2/src'

==== Successfully built LuaJIT 2.0.2 ====

# make install

出现如下内容，表示安装成功

==== Successfully installed LuaJIT 2.0.2 to /usr/local ====

2：下载准备nginx lua模块

wget https://github.com/chaoslawful/lua-nginx-module/archive/v0.8.6.tar.gz

tar -xzvf lua-nginx-module-0.8.6.tar.gz

mv lua-nginx-module-0.8.6 /usr/local/src/lua-nginx-module-0.8.6

3：安装nginx

tar zxf nginx-1.16.1.tar.gz

cd nginx-1.16.1

//先导入环境变量,告诉nginx去哪里找luajit

export LUAJIT_LIB=/usr/local/lib

export LUAJIT_INC=/usr/local/include/luajit-2.0

./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/lua-nginx-module-0.8.6 --with-http_ssl_module --with-http_stub_status_module --with-pcre

make j2

make install

常见错误处理：

/usr/local/nginx-1.4.2/sbin/nginx -v

./objs/nginx: error while loading shared libraries: libluajit-5.1.so.2: cannot open shared object file: No such file or directory

解决方法：

# ln -s /usr/local/lib/libluajit-5.1.so.2 /lib64/libluajit-5.1.so.2

4：配置Nginx

nginx配置文件加入如下配置：

location /test {

default_type 'text/plain';

content_by_lua 'ngx.say("hello, ttlsa lua")';

}

5：访问测试

curl http://127.0.0.1/test

hello, ttlsa lua //使用curl测试,返回数据表示安装成功

6：Nginx日志配置

log_format main '$remote_addr - $remote_user [$time_local] "$request" '

'$status $body_bytes_sent "$http_referer" '

'"$http_user_agent" "$http_x_forwarded_for" $request_body resp_body:"$resp_body"';

在server中添加相应的配置：

lua_need_request_body on;

set $resp_body "";

body_filter_by_lua '

local resp_body = string.sub(ngx.arg[1], 1, 1000)

ngx.ctx.buffered = (ngx.ctx.buffered or"") .. resp_body

if ngx.arg[2] then

ngx.var.resp_body = ngx.ctx.buffered

end

';

如下事例：

server {

listen 443 ssl;

server_name xxxx.com;

# ssl on;

ssl_certificate /usr/local/nginx/conf/keys/public.pem;

ssl_certificate_key /usr/local/nginx/conf/keys/private.key;

ssl_session_cache shared:SSL:1m;

ssl_session_timeout 5m;

ssl_protocols TLSv1 TLSv1.1 TLSv1.2;

ssl_ciphers ECDH:AESGCM:HIGH:!RC4:!DH:!MD5:!3DES:!aNULL:!eNULL;

ssl_prefer_server_ciphers on;

lua_need_request_body on;

set $resp_body "";

body_filter_by_lua '

local resp_body = string.sub(ngx.arg[1], 1, 1000)

ngx.ctx.buffered = (ngx.ctx.buffered or"") .. resp_body

if ngx.arg[2] then

ngx.var.resp_body = ngx.ctx.buffered

end

';

location / {

proxy_pass http://127.0.0.1:8080;

proxy_redirect off ;

proxy_set_header Host $host;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header REMOTE-HOST $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_set_header User-Agent $http_user_agent;

proxy_set_header Referer $http_referer;

client_max_body_size 50m;

client_body_buffer_size 256k;

proxy_connect_timeout 300;

proxy_send_timeout 300;

proxy_read_timeout 300;

proxy_next_upstream error timeout invalid_header http_500 http_503 http_404;

proxy_max_temp_file_size 128m;

proxy_buffer_size 512k;

proxy_buffers 16 512k;

proxy_busy_buffers_size 512k;

proxy_temp_file_write_size 512k;

}

access_log /tmp/faceauth.log main;

}

启动Nginx，打印日志，就可以看到相关数据。

以上，是打印POST数据的一种方法，比较麻烦，下面介绍一种比较简单的方法：

在日志中添加“$request_body”,由于现实原因，需要添加  escape=json  转换为json格式

log_format access escape=json '$remote_addr - $remote_user [$time_local] "$request" - "$request_body" '

'"$status" $body_bytes_sent "$http_referer" '

'"$http_user_agent" "$http_x_forwarded_for" '

'"$upstream_addr" "$upstream_status" "$request_time" "$upstream_response_time" $bytes_sent $request_length';

利用 ELK系统分析Nginx日志并对数据进行可视化展示

一.写在前面 结合之前写的一篇文章:Centos7 之安装Logstash ELK stack 日志管理系统,上篇文章主要讲了监控软件的作用以及部署方法.而这篇文章介绍的是单独监控nginx 日志分析 ...

ELK系统分析Nginx日志并对数据进行可视化展示

结合之前写的一篇文章:ELK日志分析平台搭建全过程,上篇文章主要讲了部署方法.而这篇文章介绍的是单独监控nginx 日志分析再进行可视化图形展示. 本文环境与上一篇环境一样,前提 elasticsea ...

Nginx 日志记录post数据，并使用goaccess进行日志分析

nginx日志默认不会记录post数据 在nginx配置文件的http节 log_format 日志格式标识 [escape=json] 日志格式 比如:日志格式标识设置为main,添加escape= ...

nginx 日志打印响应时间 request_time 和 upstream_response_time

设置log_format,添加request_time,$upstream_response_time,位置随意 og_format  main  '"$request_time" ...

nginx日志打印请求响应时间

log_format  timed_combined  '$remote_addr - $remote_user [$time_local] "$request" ' '$stat ...

nginx 日志打印post请求参数

在日志格式后面加上 $request_body 配置信息 log_format main '$remote_addr - $remote_user [$time_local] "$reque ...

Centos7 搭建 Flume 采集 Nginx 日志

版本信息 CentOS: Linux localhost.localdomain 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x ...

nginx1.14.0日志打印

nginx日志打印 http属性log_format来设置日志格式 ,参考 https://www.jb51.net/article/52573.htm  ...

ELK+Redis+Nginx服务数据存储以及Nginx日志的收集

PS:此片文章是承接上篇ELK部署文档,再次便不详细说明了 [安装Redis] [root@Redis ~]# wget  http://download.redis.io/releases/redi ...

随机推荐

基于python的接口测试学习笔记一(初出茅庐)

第一次写博客笔记,讲一下近来学习的接口自动化测试.网上查阅了相关资料,最后决定使用python语言写接口测试,使用的是python的第三方库requests.虽然python本身标准库中的 urlli ...

什么是 gnuplot

Gnuplot是一个命令行的交互式绘图工具(command-driven interactive function plotting program).用户通过输入命令,可以逐步设置或修改绘图环境,并 ...

Android OpenGL 入门示例----绘制三角形和正方形

Android上对OpenGl的支持是无缝的,所以才有众多3D效果如此逼真的游戏,在Camera的一些流程中也有用到GLSurfaceView的情况.本文记录OpenGL在Android上的入门级示例 ...

Java之面向对象例子(三) 多态，重写，重载，equals()方法和toString()方法的重写

重写(继承关系) 子类得成员方法和父类的成员方法,方法名,参数类型,参数个数完全相同,这就是子类的方法重写了父类的方法. 重载 在一个类里有两个方法,方法名是完全一样的,参数类型或参数个数不同. 例子 ...

Linux slave配置

说明:master机器为Windows,现将一台Linux机器作为slave进行配置.这台Linux机器为CentOS. 1.在Linux slave上的配置 ①创建名为jenkins用户 #sudo ...

java 诊断工具——Arthas

该说不说!小编做的这些功能,最讨厌的就是优化!某些前辈大佬写的代码小辈我实在不敢恭维!那逻辑!那sql! 接下来!今天的主角就登场了,阿里巴巴最近开源出来的一个针对 java 的工具,主要是针对 ja ...

hdu-4180-exgcd

RealPhobia Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others)Total ...

创建xml树

XMLElement 节点XMLDocument 节点的CUID操作 XMLNode 抽象类 操作节点 (XMLElement XMLDocument ) XElement xElement = ne ...

Linux各主要发行版的包管理命令对照

Linux各主要发行版的包管理命令对照 Debian使用的是apt和dpkg,Gentoo则用的是emerge,Redhat的yum.Suse的zypper.Arch的pacman.Slackware ...

JSTL的基本使用