学习Nginx,看这篇就就好了!(多图详解)
李航
读完需要
10
分钟
速读仅需 3 分钟
“
本文主要帮助大家熟悉 Nginx 有哪些应用场景、Nginx 特点和架构模型以及相关流程、Nginx 定制化开发的几种模块分类。读完本文你将对 Nginx 有一定的认识。
图片来自 Pexels
本文将围绕如下几个部分进行讲解:
Nginx 简介及特点
Nginx 应用场景
Nginx 框架模型介绍
Nginx 内部流程介绍
Nginx 自定义模块开发介绍
Nginx 核心时间点模块介绍
Nginx 分流模块介绍
Nginx 动态 upstream 模块介绍
Nginx query_upstrem 模块介绍
Nginx query_conf 模块介绍
Nginx 共享内存支持 Redis 协议模块介绍
Nginx 日志回放压测工具介绍
Nginx 简介以及特点
Nginx (engine x) 是一个高性能的 Web 服务器和反向代理服务器,也是一个 IMAP/POP3/SMTP 服务器:
它由俄罗斯程序员 Igor Sysoev 于 2002 年开始开发。
Nginx 是增长最快的 Web 服务器,市场份额已达 33.3%。
全球使用量排名第二,2011 年成立商业公司。
Nginx 社区分支:
Openresty:作者 @agentzh(章宜春)开发的,最大特点是引入了 ngx_lua 模块,支持使用 Lua 开发插件,并且集合了很多丰富的模块,以及 Lua 库。
Tengine:主要是淘宝团队开发。特点是融入了因淘宝自身的一些业务带来的新功能。
Nginx 官方版本,更新迭代比较快,并且提供免费版本和商业版本。
Nginx 源码结构(代码量大约 11 万行 C 代码):
源代码目录结构 Core(主干和基础设置)
Event(事件驱动模型和不同的 IO 复用模块)
HTTP(HTTP 服务器和模块)
Mail(邮件代理服务器和模块)
OS(操作系统相关的实现)
Misc(杂项)
Nginx 特点如下:
反向代理,负载均衡器
高可靠性、单 Master 多 Worker 模式
高可扩展性、高度模块化
非阻塞
事件驱动
低内存消耗
热部署
Nginx 应用场景
Nginx 的应用场景如下:
静态文件服务器
反向代理,负载均衡
安全防御
智能路由(企业级灰度测试、地图 POI 一键切流)
灰度发布
静态化
消息推送
图片实时压缩
防盗链
Nginx 框架模型介绍
进程组件角色:
Master 进程:监视工作进程的状态;当工作进程死掉后重启一个新的;处理信号和通知工作进程。
Worker 进程:处理客户端请求,从主进程处获得信号做相应的事情。
Cache Loader 进程:加载缓存索引文件信息,然后退出。
Cache Manager进程:管理磁盘的缓存大小,超过预定值大小后最少使用数据将被删除。
Nginx 的框架模型如下图:
框架模型流程如下图:
Nginx 内部流程介绍
Nginx 框架模型流程如下图:
Master 初始化流程,如下图:
Worker 初始化:
Worker 初始化流程图如下:
静态文件请求 IO 流程如下图:
HTTP 请求流程如下图:
HTTP 请求 11 个阶段,如下图所示:
upstream模块:
访问第三方 Server 服务器
底层 HTTP 通信非常完善
异步非阻塞
上下游内存零拷贝,节省内存
支持自定义模块开发
upstream 框架流程,如下图:
upstream 内部流程,如下图:
反向代理流程,如下图:
Nginx 定制化模块开发
Nginx 的模块化设计特点如下:
高度抽象的模块接口
模块接口非常简单,具有很高的灵活性
配置模块的设计
核心模块接口的简单化
多层次、多类别的模块设计
内部核心模块:
Handler 模块:接受来自客户端的请求并构建响应头和响应体。
Filter 模块:过滤(filter)模块是过滤响应头和内容的模块,可以对回复的头和内容进行处理。它的处理时间在获取回复内容之后,向用户发送响应之前。
Upstream 模块:使 Nginx 跨越单机的限制,完成网络数据的接收、处理和转发,纯异步的访问后端服务。
Load_Balance:负载均衡模块,实现特定的算法,在众多的后端服务器中,选择一个服务器出来作为某个请求的转发服务器。
ngx_lua 模块:
脚本语言
内存开销小
运行速度快
强大的 Lua 协程
非阻塞
业务逻辑以自然逻辑书写
定制化开发 Demo
Handler 模块:
编写 config 文件
编写模块产生内容响应信息
#配置文件:
server {... location test {test_counter on;}
}
#config
ngx_addon_name=ngx_http_test_module
HTTP_MODULES="$HTTP_MODULES ngx_http_test_module"
NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_test_module.c"
#ngx_http_test_module.c
static ngx_int_t
ngx_http_test_handler(ngx_http_request_t *r)
{ngx_int_t rc;ngx_buf_t *b;ngx_chain_t out;ngx_http_test_conf_t *lrcf;ngx_str_t ngx_test_string = ngx_string("hello test");lrcf = ngx_http_get_module_loc_conf(r, ngx_http_test_module);if ( lrcf->test_counter == 0 ) {return NGX_DECLINED;}/* we response to 'GET' and 'HEAD' requests only */if ( !(r->method & (NGX_HTTP_GET|NGX_HTTP_HEAD)) ) {return NGX_HTTP_NOT_ALLOWED;}/* discard request body, since we don't need it here */rc = ngx_http_discard_request_body(r);if ( rc != NGX_OK ) {return rc;}/* set the 'Content-type' header *//**r->headers_out.content_type.len = sizeof("text/html") - 1;*r->headers_out.content_type.data = (u_char *)"text/html";*/ngx_str_set(&r->headers_out.content_type, "text/html");/* send the header only, if the request type is http 'HEAD' */if ( r->method == NGX_HTTP_HEAD ) {r->headers_out.status = NGX_HTTP_OK;r->headers_out.content_length_n = ngx_test_string.len;return ngx_http_send_header(r);}/* set the status line */r->headers_out.status = NGX_HTTP_OK;r->headers_out.content_length_n = ngx_test_string.len;/* send the headers of your response */rc = ngx_http_send_header(r);if ( rc == NGX_ERROR || rc > NGX_OK || r->header_only ) {return rc;}/* allocate a buffer for your response body */b = ngx_pcalloc(r->pool, sizeof(ngx_buf_t));if ( b == NULL ) {return NGX_HTTP_INTERNAL_SERVER_ERROR;}/* attach this buffer to the buffer chain */out.buf = b;out.next = NULL;/* adjust the pointers of the buffer */b->pos = ngx_test_string.data;b->last = ngx_test_string.data + ngx_test_string.len;b->memory = 1; /* this buffer is in memory */b->last_buf = 1; /* this is the last buffer in the buffer chain *//* send the buffer chain of your response */return ngx_http_output_filter(r, &out);
}
Nginx 核心时间点模块介绍
解决接入层故障定位慢的问题,帮助 OP 快速判定问题根因,优先自证清白,提高接入层高效的生产力。
Nginx 分流模块介绍
Nginx 分流模块特点如下:
实现非常灵活的动态的修改策略从而进行切流量。
实现平滑无损的方式进行流量的切换。
通过秒级切换流量可以缩小影响范围,从而减少损失。
按照某一城市或者某个特征,秒级进行切换流量或者禁用流量。
容忍单机房级别容量故障,缩短了单机房故障的止损时间。
快速的将流量隔离或者流量抽样。
高效的灰度测试,提高生产力。
Nginx 动态 upstream 模块介绍
让接入层可以适配动态调度的云环境,实现服务的平滑上下线、弹性扩/缩容。
从而提高接入层高效的生产力以及稳定性,保证业务流量的平滑无损。
Nginx query_upstream 模块介绍
链路追踪,梳理接口到后端链路的情况。查询 location 接口对应 upstream server 信息。
Nginx query_conf 模块介绍
获取 Nginx 配置文件格式化为 json 格式信息:
Nginx 共享内存支持 Redis 协议模块介绍
根据配置文件来动态的添加共享内存:
https://github.com/lidaohang/ngx_shm_dict
ngx_shm_dict:共享内存核心模块(红黑树,队列)
ngx_shm_dict_manager:添加定时器事件,定时的清除共享内存中过期的 Key,添加读事件,支持 Redis 协议,通过 redis-cli get,set,del,ttl
ngx_shm_dict_view:共享内存查看
Nginx 日志回放压测工具
解析日志进行回放压测,模拟后端服务器慢等各种异常情况 :
https://github.com/lidaohang/playback-testing
方案说明:
客户端解析 access.log 构建请求的 host,port,url,body。
把后端响应时间,后端响应状态码,后端响应大小放入 header 头中。
后端服务器获取相应的 header,进行模拟响应 body 大小,响应状态码,响应时间。
使用方式:
拷贝需要测试的 access.log 的日志到 logs 文件夹里面。
搭建需要测试的 Nginx 服务器,并且配置 upstream 指向后端服务器断端口
启动后端服务器实例
server/backserver/main.go
进行压测
bin/wrk -c30 -t1 -s conf/nginx_log.lua http://localhost:8095
作者:李航
简介:多年的底层开发经验,在高性能 Nginx 开发和分布式缓存 Redis Cluster 有着丰富的经验,目前从事分布式存储工作。先后在 58 同城、汽车之家、优酷土豆集团工作。目前供职于滴滴基础平台-技术专家岗位,主要负责分布式 Ceph 系统。个人主要关注的技术领域:高性能 Nginx 开发、分布式缓存、分布式存储。
编辑:陶家龙
END
#接力技术,链接价值#精彩推荐1. 可能是全网最通俗易懂的微服务架构改造解读2. 掌握 Kafka,看这篇就足够了
3. 知道创宇杨冀龙:技术人的商业思维都是锤出来的,真实需求长在客户的KPI上漫画推荐1. 漫画:程序员和产品经理撕得真是太太太太厉害了
2. 漫画:程序员真的是太太太太太太太太难了!3. 漫画:普通程序员 vs 优秀程序员
4. 漫画:35岁的IT何去何从?
5. 漫画:从修灯泡来看各种 IT 岗位,你是哪一种?
6. 漫画:一批90后已经30岁了,更扎心的是…7. 图解:这才是程序员加班的真正原因!8. 漫画:中国互联网往事(2000-2020)
加入中生代技术学习群,添加社区合伙人大白微信,注明进群目的
学习Nginx,看这篇就就好了!(多图详解)相关推荐
- 还觉得linux命令难吗,看这篇2w多字的linux命令详解,通俗易懂
序言 本篇文章主要讲解了一些linux常用命令,主要讲解模式是,命令介绍.命令参数格式.命令参数.命令常用参数示例.由于linux命令较多,我还特意选了一些日常使用较为频繁的命令进行讲解,但还是免不 ...
- 学习Nginx看这篇就够了
0. NGINX的优点 响应速度快 单次请求响应快,高并发请求响应速度快 高扩展性 低耦合的模块设计框架使得可以扩展大量的第三方模块 高可靠性 每个worker进程相对独立 master进程在一个wo ...
- 深入理解JVM虚拟机13:JVM面试题,看这篇就足够了(87题详解)
1.java中会存在内存泄漏吗,请简单描述. 会.自己实现堆载的数据结构时有可能会出现内存泄露,可参看effective java. 2.64 位 JVM 中,int 的长度是多数? Java 中,in ...
- JVM面试题,看这篇就足够了(87题详解)
文章目录 1.java中会存在内存泄漏吗,请简单描述. 2.64 位 JVM 中,int 的长度是多数? 3.Serial 与 Parallel GC 之间的不同之处? 4.32 位和 64 位的 J ...
- caffe-源码学习——只看一篇就够了
caffe-源码学习--只看一篇就够了 网络模型 说caffe代码难懂,其实关键点在于caffe中有很多基础的数学运算代码,如果能够对掌握这些数学运算,剩下的就是推公式了. 激活函数 sigmoid ...
- 深度学习之图像分类(二十八)-- Sparse-MLP(MoE)网络详解
深度学习之图像分类(二十八)Sparse-MLP(MoE)网络详解 目录 深度学习之图像分类(二十八)Sparse-MLP(MoE)网络详解 1. 前言 2. Mixture of Experts 2 ...
- Nginx(二):反向代理原理 与 配置文件详解
相关阅读: Nginx(一):Nginx原理概述 与 安装步骤详解 Nginx(二):反向代理原理 与 配置文件详解 Nginx(三):负载均衡策略 与 Nginx静态服务器 Nginx(四):Ngi ...
- awk命令详解_python学习之利用urllib和urllib2访问http的GET/POST详解
前言 本文主要给大家介绍了关于python如何学习访问http的GET/POST的相关内容,使用urllib和urllib2,可以轻松实现对http的访问,下面话不多说了,来一起看看详细的介绍吧. 示 ...
- 负载均衡原理与实践详解 第五篇 负载均衡时数据包流程详解
负载均衡原理与实践详解 第五篇 负载均衡时数据包流程详解 系列文章: 负载均衡详解第一篇:负载均衡的需求 负载均衡详解第二篇:服务器负载均衡的基本概念-网络基础 负载均衡详解第三篇:服务器负载均衡的基 ...
- 【面试篇】ConcurrentHashMap1.7和1.8详解对比
ConcurrentHashMap1.7和1.8详解对比 [面试篇]数据结构-哈希表 [面试篇]HashMap常见面试题目 [面试篇]HashMap1.7和HashMap1.8的详细区别对比 [面试篇 ...
最新文章
- 利用委托和泛型实现树的常用操作
- VC防止程序被多次运行 互斥体方法
- java websocket 客户端
- 小苗快速培养盆景苗方法_九里香盆景的制作与养护
- 硬货 | 一片小小的薄膜,却可以粘住全世界!
- android addtextchangedlistener参数,【Android】关于addTextChangedListener()方法的上机记录...
- 浮动导航栏php源码,JQuery 浮动导航栏实现代码
- pytorch visdom可视化工具学习—1—详细使用-3-Generic Plots和Others
- centos mysql源_CentOS 使用国内源安装 MySQL
- sd卡卡槽_SD卡无法读取最完整解决办法汇总
- 科普:机器视觉技术原理解析及应用领域
- Pycharm如何打开Django项目
- visio连接线和框图不好控制总跑跳问题
- 服务器lsass状态代码c0000005,lsass.exe是什么进程?Win7系统提示Lsass.exe系统错误的原因及解决方法...
- CKEditor5富文本编辑器在vue中的使用
- 参加了feedsky的博客大赛
- 计算机显示器的标准是什么,电脑显示器的标准相位是多少啊
- 微分方程——线性微分方程
- JOI2017 春季合宿:Railway Trip
- java 模拟飞秋客户端发消息
热门文章
- 塔拉 孤岛危机2_《孤岛危机》新作爆料!类似于《绝地求生》的多人游戏
- java字符串剪切函数,java用substring函数截取string中一段字符串,substringstring
- java 动态单元格涂色_如何编写自定义DefaultTableCellRenderer来着色特定单元格并“保留”其他单元格的颜色,Java...
- JUnit 4测试驱动开发结构图
- notepad++以16进制查看文件
- CentOS6.5 常用命令
- ASP.NET MVC 2 学习笔记二: 表单的灵活提交
- mysql 单表查询
- 什么是Java Bean
- 滴水穿石-07Java开发中常见的错误