nginx 正则匹配优化（一）

背景

在 IPV6 改造方案中使用了大量正则匹配进行域名改写，使用perf 进行分析，pcre_exec 是主要热点。

如何优化？

减少输入规模
使用pcre_jit hyperscan 等，针对库做优化（新版本的库或者其他更好的库）
计算缓存缓存计算结果可以针对结果的内容缓存以及针对输入的中间态匹配缓存

针对本次业务，主要选择改动较小的pcre jit 进行优化，对库的优化也要注意版本的更新情况。

测试结果

经过系列调优（开启 pcre_jit 、更新pcre 到最新库）后，CPU 使用率优化效果约一倍
perf pcre_exec 热点函数从13% 降低到约3%
线上空闲率提升较为明显

测试记录：使用 foreach -c 2000 -w 1 “curl -voa http://aaa.aa:82/cnr.html -x 127.1:81” 请求152KB 的html文件进行改写

系统默认pcre-8.32 nginx 编译不带 --with-pcre-jit
配置pcre_jit on cpu 65%

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
22335 root 20 0 220076 101116 1704 R 65.5 2.8 0:20.62 nginx

配置pcre_jit off cpu 81.7%

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
29177 root 20 0 219496 100832 1700 R 81.7 2.8 0:36.09 nginx
使用源码pcre-8.32 nginx 编译带 --with-pcre-jit
配置pcre_jit on cpu 65%

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
22335 root 20 0 220076 101116 1704 R 65.5 2.8 0:20.62 nginx

配置pcre_jit off cpu 76.7%

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
29177 root 20 0 219496 100832 1700 R 76.7 2.8 0:36.09 nginx
使用源码pcre-8.42 nginx 编译带 --with-pcre-jit
配置pcre_jit on cpu 58%

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
22335 root 20 0 220076 101116 1704 R 58.5 2.8 0:20.62 nginx

配置pcre_jit off cpu 66%

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
29177 root 20 0 219496 100832 1700 R 66.7 2.8 0:36.09 nginx

原因分析

到底何为 JIT 以及 pcre 源码中的 pcre-sljit

First, a regular expression is compiled into an internal representation by pcre_compile(). The internal representation (usually called MIR - Middle Level Representation) is a sequence of byte-codes. Each byte-code is basically a command, which tells the next step for the interpreter inside pcre_exec(). The JIT compiler translates MIR to machine code when the appropriate flags are passed to pcre_study(). The returned pcre_extra data contains a pointer to a machine executable function if the machine code generation was successful.JIT compilers totally eliminate the continual reparsing of MIR. Even if the MIR code is much simpler than the original pattern string, the execution engine is full of ifs and switches, and executing them consumes considerable time. The compiled machine code only contains those machine instructions whose are absolutely necessary for this particular pattern, and nothing more.

PCRE Performance Project https://zherczeg.github.io/sljit/pcre.html

深入浅出JIT 编译器 https://www.ibm.com/developerworks/cn/java/j-lo-just-in-time/index.html

JIT 为什么能够大幅提升性能 https://www.zhihu.com/question/19672491 https://segmentfault.com/q/1010000000366720

hyperscan -Why and How to Replace Perl Compatible Regular Expressions (PCRE) with Hyperscan

https://software.intel.com/en-us/articles/why-and-how-to-replace-pcre-with-hyperscan

为何新版本性能更高，待后续研究 PCRE 版本change-log

https://abi-laboratory.pro/?view=changelog&l=pcre&v=8.42

sljit

https://zherczeg.github.io/sljit/

OPEN INFORMATION SECURITY FOUNDATION

https://oisf.net/

值得研究的软件

Suricata ebpf hyperscan

https://suricata-ids.org/news/

nginx 正则匹配优化（一）相关推荐

Nginx rewrite正则匹配重写
Nginx的rewrite功能支持正则匹配重写,即将URL地址临时或永久重新指向某个新的位置,类似于重定向.这个特性有利用当网站结构做出重大调整,如之前的网站mp3资源使用URL为www.site1. ...
nginx location 匹配多个规则_你需要知道的Nginx配置二三事
Nginx是俄罗斯人Igor Sysoev基于C语言编写的十分轻量级的HTTP服务器,它主要有以下特点: 它是一个高性能的HTTP和反向代理服务器,同时也是一个IMAP/POP3/SMTP 代理服务器 ...
11 个 Nginx 参数性能优化工作
工作上,需要配置 Nginx,要投入生产使用,做了一点优化工作,加上以前也经常折腾 Nginx,故记下一些优化工作. 优化 Nginx 进程数量配置参数如下: worker_processes 1; ...
nginx配置和优化详解
本文为多篇文章集合和使用过程中的一些配置优化. 一.nginx的说明. nginx的下载地址.Nginx 是一个高性能的HTTP和反向代理服务器,他实现了http协议,服务器端的负载均衡.(与spr ...
nginx location匹配优先级_一分钟搞清楚：Nginx之Location优先级
Location表达式类型 ~ 表示执行一个正则匹配,区分大小写 ~* 表示执行一个正则匹配,不区分大小写 ^~ 表示普通字符匹配.使用前缀匹配.如果匹配成功,则不再匹配其他location = 进行 ...
Linux实战教学笔记37：企业级Nginx Web服务优化实战（上）
一,Nginx基本安全优化 1.1 调整参数隐藏Nginx软件版本号信息一般来说,软件的漏洞都和版本有关,这个很像汽车的缺陷,同一批次的要有问题就都有问题,别的批次可能就都是好的.因此,我们应尽量隐 ...
nginx location 匹配多个规则_三道小练习助你弄懂 Nginx location 匹配
在 Nginx 中我们可以通过配置 location 指令块,来决定一个请求 url 如何处理.如果我们编写了多条 location 指令块,如何保证各个 location 不会产生冲突?如何理清 l ...
nginx location 匹配多个规则_nginx配置location与rewrite规则教程
nginx配置location与rewrite规则教程 location 教程示例: location = / { # 精确匹配 / ,主机名后面不能带任何字符串 [ configuration A ...
[转载+整理]Nginx Location匹配规则
目录规则语法 location 分类匹配顺序: 扩展 location / {}和 location =/ {}的区别测试规则语法语法匹配规则空普通匹配(遵循最大前缀匹配规则, 优先度 ...

nginx 正则匹配优化（一）

nginx 正则匹配优化（一）相关推荐

最新文章

热门文章