Varnish是一款高性能的缓存加速器，具有稳定，且效率更高，资源占用更少等特点。

缓存存储的格式：

key-value:

key:访问路径，URL, hash

value：web content

命中率：hit/(hit+miss)

文档命中率：从文档个数进行衡量；

字节命中率：从内容大小进行衡量；

注意：

缓存对象：生命周期；定期清理；

缓存空间耗尽：LRU（最近最少使用算法）

可缓存对象，不可缓存对象（用户私有数据）

缓存处理的步骤：

接收请求 --> 解析请求 （提取请求的URL及各种首部）--> 查询缓存 --> 新鲜度检测 --> 创建响应报文 -->发送响应 --> 记录日志

新鲜度检测机制：

1、  过期日期：

Expires；例：Expires:Thu, 04 Jun 2015 23:38:18 GMT，是在这个时间以前都有效

Cache-Control:max-age；例：Cache-Control:max-age=600，缓存有效时间为600s（秒）

2、有效性再验证：revalidate，就是查到缓存以后，去向服务器端发送一个条件式请求，

如果原始内容未改变，则仅响应首部（不附带body部分），响应码304 （Not Modified）

如果原始内容发生改变，则正常响应，响应码200；

如果原始内容消失，则响应404，此时缓存中的cacheobject也应该被删除；

3、条件式请求首部：

If-Modified-Since：基于请求内容的时间戳做验正；就是自从什么时间开始发生改变

If-Unmodified-Since：自从什么时间开始没有发生改变

If-Match：是否匹配

If-None-Match：是否你匹配

Etag:fdsfad9345，扩展标签，是校验码

浏览器发送一个请求，先经过缓存，如果缓存服务器没有，就会×××器端来响应，如果这个报文可以缓存，会缓存到缓存服务器，然后响应给浏览器；如果浏览器在发送一个相同的请求，如果缓存没有过期，就会从缓存服务器直接响应的

常见的缓存服务开源解决方案：

varnish， squid

要想操作varnish，需要使用varnish的操作语言vcl，vcl的配置文件首先要被c编译器编译成二进制格式，然后才被varnish加载使用

vcl: Varnish Configuration Language，缓存策略配置接口；基于“域”的简单编程语言

varnish分为管理进程和子进程

管理进程：编译VCL并应用新配置；监控vanish；初始化varnish；CLI接口；

子进程（Child/cache）包括：

Acceptor：接收新的连接请求；

workerthreads：处理用户请求；

Expiry：清理缓存中的过期对象；

Log/stats:日志相关的

日志：Shared Memory Log，共享内存日志大小默认一般为90MB，分为两部分，前一部分为计数器，后一部分请求相关的数据；

varnish如何存储缓存对象：

file:单个文件；不支持持久机制；

malloc:内存；

persistent：基于文件的持久存储；在生产中是不可用的

varnish的安装包在epel源中有提供，提供的是4.0版本的varnish，可以直接安装，

varnish的配置文件为/etc/varnish/default.vcl，

varnish的命令行参数的配置文件/etc/varnish/varnish.params

varnish的服务文件在/usr/lib/systemd/system/varnish.service

配置varnish的三种配置应用方式：

1、varnishd应用程序的命令行参数；（定义varnish主程序的工作特性）

监听的socket, 使用的存储类型等等；额外的配置参数；

-pparam=value ：设置额外的参数

-rparam,param,... : 设定只读参数列表；

-fconfig：指定配置文件的，指到哪去读vcl配置文件的

-aaddress[:port][,......]：指定服务监听的地址和端口的，可以指定多个，默认监听的端口是6081（提供服务的端口）和6082（管理接口）

-s[name=]type[,options]：指定缓存使用哪一种存储机制的

-Taddress[:port]：指定管理的地址和接口

/etc/varnish/varnish.params：命令行参数的配置文件（CentOS7中常用）

2、-p选项指明的参数：（定义varnish各子进程或线程的工作特性）

运行时参数：也可在程序运行中，通过其CLI进行配置；

3、vcl：配置缓存系统的缓存机制；（指明线程中的缓存功能的工作机制）

通过vcl配置文件进行配置；

先编译，后应用；依赖于c编译器；

下面以实例和和概念相结合的方式，讲述下varnish的相关知识和简单应用

172.16.249.195为varnish所在的主机，

/etc/varnish/varnish.params文件中定义了varnish主程序的特性，即varnish启动时的参数

VARNISH_VCL_CONF=/etc/varnish/default.vcl ：定义了从哪读取vcl的配置

VARNISH_LISTEN_PORT=6081：服务监听的端口，没指明地址代表所有地址

VARNISH_ADMIN_LISTEN_ADDRESS=127.0.0.1：定义了管理的地址

VARNISH_ADMIN_LISTEN_PORT=6082 ：定义了管理的接口

VARNISH_STORAGE="file,/var/lib/varnish/varnish_storage.bin,1G"：缓存的存储机制的定义

VARNISH_TTL=120：varnish联系后端服务器的超时时间

... ...

修改缓存使用的机制，改为使用内存：VARNISH_STORAGE="malloc,128M"

提供一台主机启动httpd服务（172.16.249.115），提供测试页

for i in{1..10};do echo "Page $i on Web1" > /var/www/html/test$i.html;done

/etc/varnish/default.vcl文件中的是vcl的配置，

修改配置：

这一段是配置后端服务器地址和端口的

这样就可以启动varnish了（systemctl  start  varnish.service）

可以看到启动成功了，访问测试一下，记得端口是6081，

varnish的命令行工具：

1、varnishadm

使用varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082，进入varnish的管理接口

-S：指明密钥文件所在位置，-T：指明端口和IP地址

进入后，使用help可以查看可以使用的命令

ping：探测后端服务器是否在线

status：显示子进程的工作状态

vcl.list：显示所有可以使用的vcl文件，

vcl.load <configname><filename>：编译vcl文件（filename），然后取一个名（configname）

active：指正在使用的vcl配置文件

available：可用的vcl配置文件

vcl.use <configname>：切换使用的vcl文件

可以看到现在使用的就是test这个vcl文件了

vcl.discard <configname>：删除可用的vcl文件的

param.show [-l] [<param>] ：显示参数，

param.show：显示所有的参数

-l：显示详细的信息

param.show<param>：只显示一个参数的信息

param.set <param> <value>：设置参数的

storage.list：显示正在使用的缓存列表

vcl.show boot：可以显示boot文件编译以前的样子

backend.list：显示后端服务器列表的

ban <field> <operator><arg> [&& <field> <oper> <arg>]...：清理缓存中的缓存对象

ban.list：定义的ban规则的列表

这可以动态装载vcl配置文件的，后续的很多操作都是在这个接口里操作的

2、Log：

varnishlog ：显示日志信息的，需要访问一下，才会出内容的

varnishncsa：这个也是显示日志信息的的，需要访问一下，才会出内容的

这两个日志信息的显示格式不同，这两个命令行接口的使用，如有需要可以去网上搜索下

3、Top：排序后的信息

varnishtop：

4、Statistics：统计信息的

varnishstat：显示缓存相关的信息

-l：显示所有可以显示的字段

这些字段中，常用的有：

MAIN.cache_hit：缓存命中的次数

MAIN.sess_conn：统计varnish已经处理过多少请求了

MAIN.sess_drop：统计varnish已经丢弃过多少请求

... ...

-f  NAME：只显示指定字段的信息

vcl:

stateengine：各引擎之间存一定程度上的相关性；前一个engine如果可以有多种下游engine，则上游engine需要用return指明要转移的下游engine；

vcl_recv

vcl_hash

vcl_hit

vcl_miss

vcl_fetch

vcl_deliver

vcl_pipe

vcl_pass

vcl_error

vcl编程语言语法：

(1)//, #, /* */ 用于注释；会被编译器忽略；

(2)sub $name: 用于定义子例程；

subvcl_recv { }

(3)不支持循环；

(4)有众多内置的变量，变量的可调用位置与state engine有密切相关性；

(5)支持终止语句，return(action)；没有返回值；

(6)"域"专用；

(7)操作符：=, ==, ~, !, &&, ||

条件判断语句：

if(CONDTION) {

}else {

}

变量赋值：set  name=value

撤销变量的值：unset  name

varnish中常用的变量：

req.http.HEADER：调用request报文中http协议的指定的HEADER首部；

req.http.X-Forwarded-For

req.http.Auhtorization

req.http.cookie

req.request:请求方法

client.ip:客户端IP；

vcl（v3）的工作机制流程图：

state engine workflow(v3):vcl的v3版本的引擎工作机制：

vcl_recv--> vcl_hash --> vcl_hit --> vcl_deliver

vcl_recv--> vcl_hash --> vcl_miss --> vcl_fetch --> vcl_deliver

vcl_recv--> vcl_pass --> vcl_fetch --> vcl_deliver

vcl_recv--> vcl_pipe

vcl（v4）的工作机制流程图：

可以去这里查看https://www.varnish-software.com/book/4.0/_p_w_picpaths/simplified_fsm.svg

state engine(v4)

vcl_recv

vcl_pass

vcl_pipe

vcl_hash

vcl_hit

vcl_miss

vcl_backend_fetch

vcl_backend_response

vcl_backend_error

vcl_purge

vcl_synth

state engine workflow(v4):vcl的v34版本的引擎工作机制跟v3类似，就不再多解释了

下面演示操作vcl，实现一些简单应用：在CentOS7中演示，使用的varnish为4.0的版本

首先备份一份/etc/varnish/default.vcl，复制/etc/varnish/default.vcl到/etc/varnish/test.vcl

修改/etc/varnish/test.vcl配置文件：

在sub vcl_recv {}里面加入下面内容：

if (req.method == "PRI") {

/* We do not support SPDY or HTTP/2.0 */

return (synth(405));

}

if (req.method != "GET" &&

req.method != "HEAD" &&

req.method != "PUT" &&

req.method != "POST" &&

req.method != "TRACE" &&

req.method != "OPTIONS" &&

req.method != "DELETE") {

/* Non-RFC2616 or CONNECT which is weird. */

return (pipe);

}

if (req.method != "GET" && req.method !="HEAD") {

/* We only deal with GET and HEAD by default */

return (pass);

}

if (req.http.Authorization || req.http.Cookie) {

/* Not cacheable by default */

return (pass);

}

return (hash);

然后保存，使用varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082进入管理接口

然后使用vcl.load test1 test.vcl 装载刚在我们编写的配置文件，如果配置文件有错，会报错的；然后查看下vcl可用列表，使用vcl.use test1切换到test1上

这定义的是一些默认的信息，没法测试，能加载成功就没问题了

下面修改test.vcl，在sub vcl_deliver {}中加入

if (obj.hits>0) {

set resp.http.X-Cache = "HIT";

} else {

set resp.http.X-Cache = "MISS";

}

这是自己定义的一个响应报文首部，如果命中就显示HIT，没命中显示MISS；obj.hits是命中的次数

保存退出，然后在varnishadm接口下输入下面内容：

然后访问测试下：用一台虚拟机使用curl命令测试，-I选项是显示报文首部信息的

可以看到第一次请求是是没有缓存的，第二次就使用缓存了

varnish中的内置变量：

变量种类：

client

server：是varnish本身相关的

req：客户端发的请求

resp：缓存服务器或代理服务器响应的

bereq：是varnish往后端服务器请求的

beresp：后端服务器响应过来的内容

obj：后段服务器响应过来的内容或者从缓存中取得的内容的属性

storage：缓存存储有效性的

bereq

bereq.http.HEADERS:由varnish发往backend server的请求报文的指定首部；

bereq.request：请求方法；

bereq.url：请求的url

bereq.proto：使用的协议版本

bereq.backend：指明要调用的后端主机；

beresp

beresp.proto：使用的协议版本

beresp.status：后端服务器的响应的状态码

beresp.reason：原因短语；

beresp.backend.ip：后端服务器的ip地址

beresp.backend.name：后端服务器的主机名称

beresp.http.HEADER:从backend server响应的报文的首部；

beresp.ttl：后端服务器响应的内容的余下的生存时长；

obj

obj.ttl:对象的ttl值；

obj.hits：此对象从缓存中命中的次数；

server

server.ip：缓存服务器自己的ip地址

server.hostname：缓存服务器自己的主机名

req

rep.http

rep.url

......

resp

resp.http

resp.status

... ...

storage

storage.<name>.free_space：缓存空间的空闲空间大小

storage.<name>.use_space：缓存空间的已用空间大小

storage.<name>.happy：缓存是否还有效

Functions（函数）

ban（expression）：清理缓存的

return（）

new（）

regsub（str，regex，sub）：正则表达式替换，把str替换为sub，但只替换第一次出现的

regsuball（str，regex，sub）：正则表达式替换，把str替换为sub，替换所有的

详细的varnish的内置变量等可以查看官方文档：

https://www.varnish-cache.org/docs/4.0/reference/vcl.html#varnish-configuration-language

在刚才的test.vcl配置文件中修改，在sub vcl_deliver{}中修改如下：

然后在加载，使用

测试下

可以看到使用成功了

示例：强制对某资源的请求，不检查缓存

修改test.vcl如下，在sub vcl_recv {}里加入：

if (req.url ~ "^/test7.html$") {

return(pass);

}

然后在varnishadm命令行接口中做，vcl.load和vcl.use

然后做测试，首先请求其他资源，可以看到能使用缓存

然后请求test7.html

可以看到没有使用缓存

强制对下面两类资源的请求，不检查缓存；

/admin

/login

修改test.vcl配置文件，修改配置文件的sub vcl_recv {}，修改为如下：

if(req.url ~ "(?i)^/login" || req.url ~ "(?i)^/admin") {

return(pass);

}

然后在后端的服务器的/var/www/html目录下，创建每一个admin目录，然后提供测试页，然后在varnishadm命令行接口中做，vcl.load和vcl.use，在测试可以看到不缓存。这里就不再演示了，跟上面的类似。

示例：对特定类型的资源取消其私有的cookie标识，并强行设定其可以varnish缓存的时长

修改test.vcl配置文件，在vcl_backend_response{}中，加入下面这些内容：

if (beresp.http.cache-control !~ "s-maxage") {

if(bereq.url ~ "(?i)\.jpg$") {

setberesp.ttl = 3600s;

unsetberesp.http.Set-Cookie;

}

if(bereq.url ~ "(?i)\.css$") {

setberesp.ttl = 600s;

unsetberesp.http.Set-Cookie;

}

}

然后在varnishadm命令行接口中做，vcl.load和vcl.use

然后在后端主机上加载一个图片，在/var/www/html目录下，下载1.jpg和2.jpg的图片

然后在访问测试下，因为首部显示的不全，一般默认缓存一会就结束了，我们在里面定义的是定义的是3600s，这个缓存是缓存在varnish中，所以一个小时内请求这个资源都会使用缓存

等几分钟，然后在访问这个资源，会发现还是使用缓存

这样就做好了，就是不太容易看出效果，

backend server的定义：

backendname {

.attribute = "value";

}

.host:backend主机的IP；

.port：backend主机监听的PORT；

.probe:对backend做健康状态检测；

.probe = ｛...｝

.max_connections：并连接最大数量；

后端主机的健康状态检测方式：

probename {

.attribute = "value";

}

.url:判定BE健康与否要请求的url;

.expected_response：期望响应状态码；默认为200；

示例：做两个后端服务器，然后做健康状态检测，再做下分离，让访问图片资源的调度到一台后端服务器上，访问其他资源的调度到令一台后端主机上

修改test.vcl配置文件，如下：

然后在varnishadm命令行接口中做，vcl.load和vcl.use

然后打开另一个虚拟机（172.16.249.159）设置测试页，for i in {1..10};do echo "Page $i in Web2" >/var/www/html/test$i.html ;done，这个主机里没有图片

在varnishadm命令行接口中，使用backend.list，可以查看到后端服务器的信息和状态

访问测试

可以看到图片资源的是发送给web1主机（172.16.249.115）了，请求的.html资源的是发送给web2主机（172.16.249.159）了

示例：实现负载均衡

修改test.vcl配置文件：

这样负载均衡就定义好了，但是这样不好查看效果，因为有缓存，为了演示效果加入

就是访问test7.html时不让缓存，这样访问时就可以看到负载均衡效果了

然后在varnishadm命令行接口中做，vcl.load和vcl.use

访问测试

可以看懂访问test7.html时是负载均衡，访问其他资源时，是使用的缓存，所以不会变

或者使用这个方式测试，每次使用一个新资源范围，也可以看到负载均衡效果

直接在物理机中测试也行，物理机中的浏览器访问时是不允许缓存的，所以可以看到负载均衡效果，如果你的物理机的浏览器对这些资源是允许缓存的话，就只能用上面的方法定义一个资源，让它不缓存

可以负载均衡

这样负载均衡就做好了

如果有不明白的配置可以到这个连接下去查看varnish的官方配置示例：https://www.varnish-cache.org/trac/wiki/VCLExamples