• 问题引出

假设某电商平台商品详情页需要实现 700 QPS(假设宽带是千兆宽带)
千M局域网宽带网卡速率按照1000进位,所以1Gbps=1,000,000,000bps=125,000,000Bps≈119.21MB/s
当达到500QPS 的时候很难继续压测上去。
假设每个页面主体渲染所需要的图片的占用150KB,那么500QPS,500 x 150 / 1000 = 75M/s,再加上各种网络请求和网络传输,几乎达到宽带的性能瓶颈,所以必须减少内网通信。

  • 解决方案

缓存

缓存就是数据交换的缓冲区(称作:Cache),当用户要获取数据的时候,会先从缓存中去查询获取数据,如果缓存中有就会直接返回给用户,如果缓存中没有,则会发请求从服务器重新查询数据,将数据返回给用户的同时将数据放入缓存,下次用户就会直接从缓存中获取数据。

Nginx的web缓存服务

Nginx是从0.7.48版开始提供缓存功能。Nginx是基于Proxy Store来实现的,其原理是把URL及相关组合当做Key,在使用MD5算法对Key进行哈希,得到硬盘上对应的哈希目录路径,从而将缓存内容保存在该目录中。它可以支持任意URL连接,同时也支持404/301/302这样的非200状态码。Nginx即可以支持对指定URL或者状态码设置过期时间,也可以使用purge命令来手动清除指定URL的缓存。

Nginx缓存设置的相关指令

Nginx的web缓存服务主要是使用ngx_http_proxy_module模块相关指令集来完成。

proxy_cache_path

该指定用于设置缓存文件的存放路径

语法 proxy_cache_path path [levels=number] keys_zone=_name_:_size_ [inactive=time][max_size=size];
默认值
位置 http
  • path:缓存路径地址,如:

/home/nginx/proxy_cache

  • levels: 指定该缓存空间对应的目录,最多可以设置3层,每层取值为1|2

    如 : levels=1:2   缓存空间有两层目录,第一层是1个字母,第二层是2个字母
    

举例说明:
song通过MD5加密以后的值为 683eb609607a439b0561dcbb4c8329e8
levels=1:2 最终的存储路径为/usr/local/proxy_cache/8/9e
levels=2:1:2 最终的存储路径为/usr/local/proxy_cache/e8/9/32
levels=2:2:2 最终的存储路径为??/usr/local/proxy_cache/e8/29/83

  • keys_zone:用来为这个缓存区设置名称和指定大小,如:

keys_zone=song:200m 缓存区的名称是song,大小为200M,1M大概能存储8000个keys
inactive:指定缓存的数据多次时间未被访问就将被删除,如:
inactive=1d 缓存数据在1天内没有被访问就会被删除
max_size:设置最大缓存空间,如果缓存空间存满,默认会覆盖缓存时间最长的资源,如:
max_size=20g

  • 案例
proxy_cache_path /home/nginx/proxy_cache levels=2:2:2 keys_zone=song:200m inactive=20m max_size=1k;

proxy_cache

用来开启或关闭代理缓存,如果是开启则自定使用哪个缓存区来进行缓存。

语法 proxy_cache zone_name|off;
默认值 proxy_cache off;
位置 http、server、location

zone_name:指定使用缓存区的名称

proxy_cache_key

用来设置web缓存的key值,Nginx会根据key值MD5哈希存缓存。

语法 proxy_cache_key key;
默认值 proxy_cache_key schemeschemeschemeproxy_host$request_uri;
位置 http、server、location

proxy_cache_valid

用来对不同返回状态码的URL设置不同的缓存时间

语法 proxy_cache_valid [code …] time;
默认值
位置 http、server、location

如:proxy_cache_valid 200 302 10m;
proxy_cache_valid 404 1m;
为200和302的响应URL设置10分钟缓存,为404的响应URL设置1分钟缓存
proxy_cache_valid any 1m;
对所有响应状态码的URL都设置1分钟缓存

proxy_cache_min_uses

用来设置资源被访问多少次后被缓存

语法 proxy_cache_min_uses number;
默认值 proxy_cache_min_uses 1;
位置 http、server、location

proxy_cache_methods

用来设置缓存哪些HTTP方法

语法 proxy_cache_methods GET|HEAD|POST;
默认值 proxy_cache_methods GET HEAD;
位置 http、server、location

默认缓存HTTP的GET和HEAD方法,不缓存POST方法。

配置案例

Nginx代理tomcat访问静态资源,访问到的资源缓存到指定目录

http{proxy_cache_path /home/nginx/proxy_cache levels=2:2:2 keys_zone=song:200m inactive=20m max_size=1k;server {listen 8079;server_name localhost;# 缓存配置proxy_cache song;proxy_cache_key song;proxy_cache_min_uses 1;proxy_cache_methods HEAD GET POST;proxy_cache_valid 200 1d;# 加一个头,方便在header中观察是否命中缓存add_header  Nginx-Cache "$upstream_cache_status";  # 反向代理配置upstream tomcat{server 192.168.28.177:8080;}location /proxy {proxy_pass http://tomcat/js;}}
}

访问http://192.168.28.177:8079/proxy/user.js
观察/home/nginx/proxy_cache目录结构

  • 命中缓存

缓存清除

删除对应的缓存目录

rm -rf /home/nginx/proxy_cache/...

使用第三方扩展模块

使用ngx_cache_purge删除Nginx缓存.
安装ngx_cache_purge模块

  • 下载

wget http://labs.frickle.com/files/ngx_cache_purge-2.3.tar.gz

  • 解压

tar -xvf ngx_cache_purge-2.3.tar.gz

  • 安装

参考《Nginx基本概念》热部署

  • 删除

Nginx设置资源不缓存

  • 问题引出

不是所有的数据都适合进行缓存。对于一些经常发生变化的数据。如果进行缓存的话,就很容易出现访问到的数据不是服务器真实的数据。所以对于这些资源在缓存的过程中就需要进行过滤,不进行缓存。

proxy_no_cache

 用来定义数据不缓存的条件。
语法 proxy_no_cache string …;
默认值
位置 http、server、location
  • 配置实例

proxy_no_cache $cookie_nocache $arg_nocache $arg_comment;

proxy_cache_bypass

 用来设置不从缓存中获取数据的条件。
语法 proxy_cache_bypass string …;
默认值
位置 http、server、location
  • 配置实例

proxy_cache_bypass $cookie_nocache $arg_nocache $arg_comment;
上述两个指令都有一个指定的条件,这个条件可以是多个,并且多个条件中至少有一个不为空且不等于"0",则条件满足成立(或关系)。里面使用到了三个变量,分别是cookienocache、cookie_nocache、cookien​ocache、arg_nocache、$arg_comment

这三个参数分别代表的含义是

$cookie_nocache

 当前请求的**cookie中键的名称**为nocache对应的值

argnocache和arg_nocache和argn​ocache和arg_comment

 当前请求的参数中**属性名****为nocache和comment对应的属性值**
  • 案例
log_format params $cookie_nocache | $arg_nocache | $arg_comment;
server{listen  8081;server_name localhost;location /{access_log logs/access_params.log params;# 设置cookie的nocache属性add_header Set-Cookie 'nocache=999';root html;index index.html;}
}
  • 访问http://192.168.28.177:8069/?nocache=111&comment=222

日志打印:999|111|222

  • 访问http://192.168.28.177:8069/?nocache=111

日志打印:999|111|-

  • 访问http://192.168.28.177:8069/

日志打印:999|-|-

案例实现

设置访问的文件是js,不缓存资源

server{listen  8080;server_name localhost;location / {if ($request_uri ~ /.*\.js$){# 如果访问的文件是js,设置一个变量nocacheset $nocache 1;}proxy_no_cache $nocache $cookie_nocache $arg_nocache $arg_comment;proxy_cache_bypass $nocache $cookie_nocache $arg_nocache $arg_comment;}
}

Nginx缓存配置教程相关推荐

  1. nginx默认html缓存,nginx缓存配置

    今天试了一下nginx缓存配置,说到缓存相信大家应该都不陌生,也就是把访问后端web服务器的静态请求缓存到本地文件系统一个目录,后端一般是apache服务器居多!当前这两台机器完全可以在一台服务器上, ...

  2. React 前端 Nginx 缓存配置

    React 前端 Nginx 缓存配置 最新开发钉钉微应用,上线后发现 2 个问题: 1.每次更新后,需要用户手动刷新获取最新的 HTML 和最新的 js,经常被客户吐槽为什么 bug 还没改,其实早 ...

  3. nginx缓存配置及开启gzip压缩

    一:nginx缓存配置 在前一篇文章,我们理解过http缓存相关的知识点, 请看这篇文章. 今天我们来学习下使用nginx服务来配置缓存的相关的知识. nginx配置缓存的优点:可以在一定程度上,减少 ...

  4. Nginx缓存配置(简易实现CDN功能)

    环境推荐使用openresty,自带了挺多模块的,如果直接使用nginx,需要对缺少的模块进行添加,添加教程参照百度或者OpenResty教程 1.本地站点ETag缓存 示范开启静态文件缓存 环境: ...

  5. Nginx缓存设置教程

    这篇文章主要介绍了Nginx缓存设置案例详解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下 在开发调试web的时候,经常会碰到因浏览器缓存(cache)而 ...

  6. nginx 缓存配置及报错解决

    研究了2天的nginx缓存 出现各种报错 我把配置文件修改过后还是报错 1 2 3 4 5 6 7 location ~ /purge(/.*)                 {           ...

  7. ASP.NET Core 缓存技术 及 Nginx 缓存配置

    前言 在Asp.Net Core Nginx部署一文中,主要是讲述的如何利用Nginx来实现应用程序的部署,使用Nginx来部署主要有两大好处,第一是利用Nginx的负载均衡功能,第二是使用Nginx ...

  8. Nginx——缓存配置

    缓存配置 对于一个含有大量内容的网站来说,随着访问量的增多,对于经常被用户访问的内容,若每一次都要到后端服务器中获取,会给服务器造成很大的压力.为此,利用反向代理服务器对访问频率较多的内容进行缓存,有 ...

  9. nginx 缓存配置详解都是干货

    一.缓存类型 1.服务端缓存 2.代理缓存 3.客户端缓存 4.代理缓存的工作流程: 二.代理缓存配置语法 1.代理缓存路径 配置语法 Syntax: proxy_cache_path path [l ...

最新文章

  1. react创建组件_如何使用React创建时间轴组件
  2. ICCV 2021 | 简而优:用分类器变换器进行小样本语义分割
  3. Nginx HTTP负载均衡和反向代理配置
  4. header python 环境信息_Python开发必备:如何建立一个完美的项目工程环境
  5. 服务器设备性能说明,OMC服务器硬件性能和配置说明.doc
  6. asp.net mvc使用的心得和问题的解决方法(陆续更新ing)
  7. 构建微服务(Building Microservices)-PDF 文档
  8. php判断数值大小_php 快速判断一个数字属于什么范围的实现方法
  9. 【赠书活动】清华社的两本Android技术书籍
  10. delphixe android服务,delphi xe10 android服务gps [复制]
  11. adobe怎么统计字数_pdf文档统计字数的问题
  12. Ac.wing 149. 荷马史诗
  13. 重装电脑?先来个PE盘!
  14. 王占祥:公募基金券商交易模式
  15. Java经典面试:源码解读及如何保证线程安全
  16. IT从业者的职业规划
  17. linux如何给脚本等创建一个桌面启动图标
  18. Sql Server 时间格式转换
  19. java自动化测试语言高级之网络编程
  20. js 代码 摘录收集贴

热门文章

  1. 2678 凌波微步(枚举)
  2. 2010年智能手表的创意
  3. Oracle笔记 之 查看表空间使用情况
  4. 【SDCC讲师专访】专访京东杨超:出色的架构师应具备的素质
  5. 金仓数据库KingbaseES ksql工具用户指南及参考--3. Ksql入门
  6. Apollo下载与安装
  7. DTC 2019 数据技术嘉年华·金融峰会(深圳站)来袭,直面架构君
  8. 关于VirtualBox虚拟机屏幕分辨率不能调整的解决方法
  9. 电脑开机密码忘了,如何快速解决?
  10. C# sleep 和wait的区别