HTTP协议报文头部结构和Web相关工具

HTTP响应码

HTTP协议报文头部结构

状态码

http协议状态码分类
1xx：100-101 信息提示
2xx：200-206 成功
3xx：300-307 重定向
4xx：400-415 错误类信息，客户端错误
5xx：500-505 错误类信息，服务器端错误

http协议常用的状态码
200：成功，请求数据通过响应报文的entity-body部分发送;OK
301：请求的URL指向的资源已经被删除；但在响应报文中通过首部Location指明了资源现在所处的新位置；Moved
Permanently
302：响应报文Location指明资源临时新位置 Moved Temporarily
304：客户端发出了条件式请求，但服务器上的资源未曾发生改变，则通过响应此响应状态码通知客户端；Not Modified
401：需要输入账号和密码认证方能访问资源；Unauthorized
403：请求被禁止；Forbidden
404：服务器无法找到客户端请求的资源；Not Found
500：服务器内部错误；Internal Server Error
502：代理服务器从后端服务器收到了一条伪响应，如无法连接到网关；Bad Gateway
503：服务不可用，临时服务器维护或过载，服务器无法处理请求 504：网关超时

HTTP报文格式详解

Method 方法

请求方法，标明客户端希望服务器对资源执行的动作，包括以下：
GET：从服务器获取一个资源
HEAD：只从服务器获取文档的响应首部
POST：向服务器输入数据，通常会再由网关程序继续处理
PUT：将请求的主体部分存储在服务器中，如上传文件
DELETE：请求删除服务器上指定的文档
TRACE：追踪请求到达服务器中间经过的代理服务器
OPTIONS：请求服务器返回对指定资源支持使用的请求方法
CONNECT：建立一个到由目标资源标识的服务器的隧道
PATCH：用于对资源应用部分修改

headers首部字段头

首部的分类：

通用首部:请求报文和响应报文两方都会使用的首部
请求首部:从客户端向服务器端发送请求报文时使用的首部。补充了请求的附加内容、客户端信
息、请求内容相关优先级等信息
响应首部：从服务器端向客户端返回响应报文时使用的首部。补充了响应的附加内容，也会要求客
户端附加额外的内容信息
实体首部：针对请求报文和响应报文的实体部分使用的首部。补充了资源内容更新时间等与实体有
关的的信息
扩展首部

通用首部：
Date: 报文的创建时间
Connection：连接状态，如keep-alive, close
Via：显示报文经过的中间节点（代理，网关）
Cache-Control：控制缓存，如缓存时长
MIME-Version:发送端使用的MIME版本
Warning：错误通知

请求首部：
Accept：通知服务器自己可接受的媒体类型
Accept-Charset：客户端可接受的字符集
Accept-Encoding：客户端可接受编码格式，如gzip
Accept-Language：客户端可接受的语言
Client-IP: 请求的客户端IP
Host: 请求的服务器名称和端口号
Referer：跳转至当前URI的前一个URL
User-Agent：客户端代理，浏览器版本

条件式请求首部：
Expect：允许客户端列出某请求所要求的服务器行为
If-Modified-Since：自从指定的时间之后，请求的资源是否发生过修改
If-Unmodified-Since：与上面相反
If-None-Match：本地缓存中存储的文档的ETag标签是否与服务器文档的Etag不匹配
If-Match：与上面相反
安全请求首部：
Authorization：向服务器发送认证信息，如账号和密码
Cookie: 客户端向服务器发送cookie 代理请求首部：
Proxy-Authorization: 向代理服务器认证

响应首部：
信息性：
Age：从最初创建开始，响应持续时长
Server：服务器程序软件名称和版本
协商首部：某资源有多种表示方法时使用
Accept-Ranges：服务器可接受的请求范围类型
Vary：服务器查看的其它首部列表
安全响应首部：
Set-Cookie：向客户端设置cookie
WWW-Authenticate：来自服务器对客户端的质询列表

实体首部：
Allow: 列出对此资源实体可使用的请求方法
Location：告诉客户端真正的实体位于何处
Content-Encoding:对主体执行的编码
Content-Language:理解主体时最适合的语言
Content-Length: 主体的长度
Content-Location: 实体真正所处位置
Content-Type：主体的对象类型，如text
缓存相关：
ETag：实体的扩展标签
Expires：实体的过期时间
Last-Modified：最后一次修改的时间

entity-body实体
请求时附加的数据或响应时附加的数据，例如：登录网站时的用户名和密码，博客的上传文章，论坛上
的发言等。

Cookie

Cookie 的状态管理

Cookie 技术通过在请求和响应报文中写入 Cookie 信息来控制客户端的状态。当服务器收到HTTP请求
时，服务器可以在响应头里面添加一个Set-Cookie选项。浏览器收到响应后通常会保存下Cookie，之后
对该服务器每一次请求中都通过Cookie请求头部将Cookie信息发送给服务器。服务器端发现客户端发
送过来的 Cookie 后，会去检查究竟是从哪一个客户端发来的连接请求，然后对比服务器上的记录，最
后得到之前的状态信息.另外，Cookie的过期时间、域、路径、有效期、适用站点都可以根据需要来指
定。

Set-Cookie首部字段

NAME=VALUE 赋予 Cookie 的名称和其值,此为必需项
expires=DATE Cookie 的有效期，若不明确指定则默认为浏览器关闭前为止

会话期Cookie
会话期Cookie是最简单的Cookie：浏览器关闭之后它会被自动删除，也就是说它仅在会话期内有
效。会话期Cookie不需要指定过期时间（Expires）或者有效期（Max-Age）。需要注意的是，有
些浏览器提供了会话恢复功能，这种情况下即使关闭了浏览器，会话期Cookie也会被保留下来，
就好像浏览器从来没有关闭一样。

持久性Cookie
和关闭浏览器便失效的会话期Cookie不同，持久性Cookie可以指定一个特定的过期时间
（Expires）或有效期（Max-Age）。

Set-Cookie: id=a3fWa; Expires=Wed, 21 Oct 2015 07:28:00 GMT;

提示：当Cookie的过期时间被设定时，设定的日期和时间只与客户端相关，而不是服务端。

path=PATH 指定了主机下的哪些路径可以接受Cookie（该URL路径必须存在于请求URL中）。若
不指定则默认为文档所在的文件目录,以字符 %x2F ("/") 作为路径分隔符，子路径也会被匹配。
例如，设置 Path=/docs ，则以下地址都会匹配：
/docs
/docs/Web/
/docs/Web/HTTP

domain=域名指定了哪些主机可以接受Cookie。如果不指定，默认为当前文档的主机（不包含子域名）。如果指定了Domain，则一般包含子域名。
例如，如果设置 Domain=magedu.com，则Cookie也包含子域名（如：study.magedu.com）

Secure 标记为 Secure 的Cookie只应通过被HTTPS协议加密过的请求发送给服务端。但即便设置了 Secure 标记，敏感信息也不应该通过Cookie传输，因为Cookie有其固有的不安全性，Secure标记也无法提供确实的安全保障。从 Chrome 52 和Firefox 52 开始，不安全的站点（http:）无法使用Cookie的 Secure 标记。

HttpOnly 加以限制使 Cookie 不能被 JavaScript 脚本访问,为避免跨域脚本 (XSS) 攻击，通过JavaScript的 Document.cookie API无法访问带有 HttpOnly 标记的Cookie，它们只应该发送给服务端。如果包含服务端 Session 信息的 Cookie 不想被客户端 JavaScript 脚本调用，那么就应该为其设置 HttpOnly 标记

浏览器查看cookie

范例：php语言实现cookie的管理

#设置cookie
#cat setcookie.php
<?php
setcookie('title','cto'); #有效期为会话级
setcookie('user','wang',time()+3600*12); #有效期为12小时
?>
#说明：setcookie设置的cookie，只有下一次http请求才能生效#显示cookie
cat showcookies.php
<?php
echo $_COOKIE["user"]; #显示user的这一个cookie
echo "<br />";
var_dump($_COOKIE); #显示所有cookie
//print_r($_COOKIE); #不如上面方式详细
?>#删除cookie，通过设置过期时间实现
#vim delcookie.php
<?php
setcookie('user','wang',time()-3600*12);
?>

Session

session是相对于cookie的另外一个状态保持的解决方案，它是通过服务器来保持状态的。session指的
是服务器上为每个客户端所开辟的独立存储空间，在其中保存的信息就是用于保存状态的。

Session是服务器端程序运行的过程中创建的，不同语言实现的应用程序有不同创建session的方法。在创建了session的同时，服务器会为该session生成唯一的sessionId，而这个sessionId被创建了之后，就可以调用session相关的方法往session中增加内容了，而这些内容只会保存在服务器中，每个sessionid就像数据库中主键，可以根据SessionId 关联每个session的相关信息，比如：购物车里的商器，登录用户等。但发送给客户端浏览器的只有sessionId。当客户端浏览器再次发送http请求时，会自动地将这个sessionId 附加在请求报文中，服务器收到请求之后就会根据sessionId找到对应的session，从而再次使用，使得用户的状态得以保持。

每个session都有一个sessionId，这个ID存放有两种方式：

1、通过URL存取，比如：Java程序中，URL会带上一个;jsessionId=xxxxxx等，这样每次重新请求的时候都传了sessionId给服务器
2、通过cookie存取（Tomcat默认如此），这种cookie是session cookie，区别于persistent cookies也就是我们常说的cookie，session cookie要注意的是存储在浏览器内存中，而不是写到硬盘上。程序一开始执行，服务器就生成一个sessionId并通过cookie携带客户端浏览器的缓存中，当下一次访问的时候，服务器先检测一下是否有这个cookie，如果有就取它的ID，如果没有就再生成一个。这就是为什么关闭浏览器之后，再进去session已经没有了，其实在服务器端session并没有清空，而是sessionId变了。

当将浏览器关闭，服务器保存的session数据不是立即释放的，此时数据还会存在一段时间（可以在程序中加以设置，Tomcat默认15分钟），只要我们知道那个sessionId，就可以继续通过请求获得此session的信息。session里面的数据都放在服务器端，通过sessionId保证不会访问错误，服务端自动对session进行管理，如果在规定的时间内没有访问，则释放掉这个session。

最后提两点：
1、sessionId通常是看不到的，但是当我们把浏览器的cookie禁止之后，Web服务器会采用URL重写的方式传递sessionId，这样就可以在地址栏看到sessionId了
2、session cookie不可以跨窗口使用，但可以跨同一个窗口的多个标签页。

cookie和session比较

cookie和session的相同和不同：

1 cookie和session两者都是在服务器端生成
2 session 将数据信息保存在服务器端，可以是内存，文件，数据库等多种形式,cookie 将数据保存在客户端的内存或文件中
3 单个cookie保存的数据不能超过4K，每个站点cookie个数有限制，比如IE8为50个、Firefox为50个、Opera为30个；session存储在服务器，没有容量限制
4 cookie存放在用户本地，可以被轻松访问和修改，安全性不高；session存储于服务器，比较安全
5 cookie有会话cookie和持久cookie，生命周期为浏览器会话期的会话cookie保存在缓存，关闭浏览器窗口就消失，持久cookie被保存在硬盘，知道超过设定的过期时间；随着服务端session存储压力增大，会根据需要定期清理session数据
6 session中有众多数据，只将sessionID这一项可以通过cookie发送至客户端进行保留，客户端下次访问时，在请求报文中的cookie会自动携带sessionID，从而和服务器上的的session进行关联

cookie缺点：
1、使用cookie来传递信息，随着cookie个数的增多和访问量的增加，它占用的网络带宽也很大，试想假如cookie占用200字节，如果一天的PV有几个亿，那么它要占用多少带宽？

2、cookie并不安全，因为cookie是存放在客户端的，所以这些cookie可以被访问到，设置可以通过插件添加、修改cookie。所以从这个角度来说，我们要使用sesssion，session是将数据保存在服务端的，只是通过cookie传递一个sessionId而已，所以session更适合存储用户隐私和重要的数据

session 缺点：
1、不容易在多台服务器之间共享，可以使用session绑定，session复制，session共享解决
2、session存放在服务器中，所以session如果太多会非常消耗服务器的性能cookie和session各有优缺点，在大型互联网系统中，单独使用cookie和session都是不可行的

Web相关工具

小技巧：访问网页不能复制粘贴如何简单破解：
1：ctrl + p 到打印复制的界面进行复制粘贴
2：禁用JavaScript功能即可
设置—》高级—》网址设置—》JavaScript 禁用
3：在浏览器中输入
javascript：void($=｛｝)；
不能复制，只能手写

links

格式：

links [OPTION]... [URL]...

常用选项：
-dump 非交互式模式，显示输出结果 -source 打印源码
centos8中暂时还没有集成
centos7中有

[root@centos7 ~]#yum install links -y[root@centos7 ~]#links http://www.zsythink.net/archives/76 -dump > git.txt
[root@centos7 ~]#vim git.txt
#同样可以访问复制粘贴

wget

格式：

wget [OPTION]... [URL]...

常用选项：
-q 静默模式
-c 断点续传
-P /path 保存在指定目录
-O filename 保存为指定文件名，filename 为 –时，发送至标准输出 --limit-rate= 指定传输速率，单位K，M等
有时候限速也是非常有必要的 --limit-rate

[root@centos7 ~]#wget http://www.zsythink.net/archives/76
[root@centos7 ~]#sz 76
直接可以用word打开下载的文本资源

curl 工具

curl是基于URL语法在命令行方式下工作的文件传输工具，它支持FTP, FTPS, HTTP, HTTPS, GOPHER,
TELNET, DICT, FILE及LDAP等协议。curl支持HTTPS认证，并且支持HTTP的POST、PUT等方法， FTP
上传， kerberos认证，HTTP上传，代理服务器，cookies，用户名/密码认证，下载文件断点续传，上
载文件断点续传, http代理服务器管道（ proxy tunneling），还支持IPv6，socks5代理服务器，通过
http代理服务器上传文件到FTP服务器等，功能十分强大
格式：

curl [options] [URL...]

常见选项：
-A/–user-agent 设置用户代理发送给服务器
-e/–referer 来源网址 --cacert CA证书 (SSL)
-k/–insecure允许忽略证书进行 SSL 连接 --compressed 要求返回是压缩的格式
-H/–header “key:value” 自定义首部字段传递给服务器
-i 显示页面内容，包括报文首部信息
-I/–head 只显示响应报文首部信息
-D/–dumpheader将url的header信息存放在指定文件中 --basic 使用HTTP基本认证
-u/–user user[:password]设置服务器的用户和密码 -L 如果有3xx响应码，重新发请求到新位置
-O 使用URL中默认的文件名保存文件到本地
-o 将网络文件保存为指定的文件中 --limit-rate 设置传输速度
-0/–http1.0 数字0，使用HTTP1.0 -v/–verbose 更详细
-C 选项可对文件使用断点续传功能
-c/–cookie-jar 将url中cookie存放在指定文件中
-x/–proxy proxyhost[:port] 指定代理服务器地址
-X/–request 向服务器发送指定请求方法
-U/–proxy-user user:password 代理服务器用户和密码
-T 选项可将指定的本地文件上传到FTP服务器上
–data/-d 方式指定使用POST方式传递数据
-b name=data 从服务器响应set-cookie得到值，返回给服务器

[root@centos7 ~]#curl -I  http://www.163.com
HTTP/1.1 403 Forbidden
Date: Fri, 13 Dec 2019 08:31:37 GMT
Content-Type: text/html
Content-Length: 233
Connection: keep-alive
Server: web cache
Expires: Fri, 13 Dec 2019 08:31:37 GMT
X-Ser: BC178_lt-shandong-zibo-1-cache-1
Cache-Control: no-cache,no-store,private
cdn-user-ip: 111.196.59.27
cdn-ip: 222.134.66.167
X-Cache-Remote: HIT
cdn-source: baishan

拒绝curl浏览器的访问。可以冒充其他浏览器访问

[root@centos7 ~]#curl -I -A ie10 http://www.163.com
HTTP/1.1 200 OK
Date: Fri, 13 Dec 2019 08:31:30 GMT
Content-Type: text/html; charset=GBK
Connection: keep-alive
Expires: Fri, 13 Dec 2019 08:32:33 GMT
Server: nginx
Cache-Control: no-cache,no-store,private
Age: 17
Vary: Accept-Encoding
X-Ser: BC51_dx-lt-yd-shandong-jinan-5-cache-6, BC53_dx-lt-yd-shandong-jinan-5-cache-6, BC23_lt-henan-kaifeng-2-cache-2, BC17_lt-henan-kaifeng-2-cache-2
cdn-user-ip: 111.196.59.27
cdn-ip: 218.29.145.17
X-Cache-Remote: HIT
cdn-source: baishan

[root@centos7 ~]#curl  -I -H "user-agent: firefox" 192.168.32.7
HTTP/1.1 403 Forbidden
Date: Fri, 13 Dec 2019 08:37:43 GMT
Server: Apache/2.4.6 (CentOS)
Last-Modified: Thu, 16 Oct 2014 13:20:58 GMT
ETag: "1321-5058a1e728280"
Accept-Ranges: bytes
Content-Length: 4897
Content-Type: text/html; charset=UTF-8[root@centos7 ~]#tail -f /var/log/httpd/access_log
192.168.32.7 - - [13/Dec/2019:16:37:33 +0800] "GET / HTTP/1.1" 403 4897 "-" "firefox"
192.168.32.7 - - [13/Dec/2019:16:37:43 +0800] "HEAD / HTTP/1.1" 403 - "-" "firefox"

httpie

HTTPie 工具是现代的 HTTP 命令行客户端，它能通过命令行界面与 Web 服务进行交互。它提供一个简
单的 http 命令，允许使用简单而自然的语法发送任意的 HTTP 请求，并会显示彩色的输出

HTTPie 能用于测试、调试及与 HTTP 服务器交互。
主要特点：
具表达力的和直观语法
格式化的及彩色化的终端输出
内置 JSON 支持
表单和文件上传
HTTPS、代理和认证任意请求数据
自定义头部
持久化会话
类似 wget 的下载
支持 Python 2.7 和 3.x

官方网站
安装：基于EPEL（CentOS 7）

yum install httpie

[root@centos7 ~]#yum install httpie -y

范例：

# 显示信息（包含响应头200）
http www.magedu.com
# 显示详细的请求（包含请求和返回头200）
http -v www.magedu.com
# 只显示Header
http -h www.magedu.com
http --head www.magedu.com
http --header www.magedu.com
http --headers www.magedu.com
# 只显示Body
http -b www.magedu.com
http --body magedu.com
# 下载文件
http -d www.magedu.com
# 模拟提交表单
http -f POST www.magedu.com username='wang'
# 请求删除的方法
http DELETE www.magedu.com
# 传递JSON数据请求(默认就是JSON数据请求)
http PUT www.magedu.com username='wang' password='magedu'
# 如果JSON数据存在不是字符串则用:=分隔，例如
http PUT www.magedu.com username='wang' password='magedu' age:=30 a:=true
streets:='["a", "b"]'
# 模拟Form的Post请求, Content-Type: application/x-www-form-urlencoded;
charset=utf-8
http --form POST www.magedu.com username='wang'
# 模拟Form的上传, Content-Type: multipart/form-data
http -f POST www.magedu.com/jobs username='wang' file@~/test.pdf
# 修改请求头, 使用:分隔
http www.magedu.com User-Agent:magedu-agent/1.0 'Cookie:a=b;b=c'
Referer:http://www.google.com/
# 认证
http -a username:password www.magedu.com
http -A basic -a username:password www.magedu.com
# 使用http代理
http --proxy=http:http://172.16.0.100:8081 proxy.magedu.com
http --proxy=http:http://user:pass@172.16.0.100:8081 proxy.magedu.com
http --proxy=https:http://172.16.0.100:8118 proxy.magedu.com
http --proxy=https:http://user:pass@172.16.0.100:8118 proxy.magedu.com

压力测试工具

httpd的压力测试工具：
ab, webbench, http_load, seige
Jmeter 开源
Loadrunner 商业，有相关认证
tcpcopy：网易，复制生产环境中的真实请求，并将之保存
ab 来自httpd-tools包
命令格式

ab [OPTIONS] URL

常见选项：
-n：总请求数
-c：模拟的并发数
-k：以持久连接模式测试

说明：并发数高于1024时，需要用 ulimit –n # 调整能打开的文件数

[root@centos7 ~]#ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 7193
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024              #需要调整
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 7193
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited
[root@centos7 ~]#

httpd自带的工具程序

htpasswd：basic认证基于文件实现时，用到的账号密码文件生成工具
apachectl：httpd自带的服务控制脚本，支持start和stop
rotatelogs：
日志滚动工具
access.log -->
access.log, access.1.log -->
access.log, acccess.1.log, access.2.log
可以定义一天滚动日志，每一天都是最新的日志