爬虫-04-常见的请求头

HTTP请求

举例：
CSDN-专业IT技术社区
https://www.csdn.net/

GET / HTTP/1.1
Host: www.csdn.net
Connection: keep-alive
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
Referer: https://blog.csdn.net/lmz_lmz/article/details/80870623
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9
Cookie: acw_tc=2760826415685278336014876e69c7b6b11e76b030a6ace353fc83091be177; uuid_tt_dd=10_28743752430-1568527833609-503066; dc_session_id=10_1568527833609.988637; UserName=ifubing; UserInfo=7f1dbd1d91bd4435975d05b330e26a82; UserToken=7f1dbd1d91bd4435975d05b330e26a82; UserNick=ifubing; AU=94D; UN=ifubing; BT=1568527929468; p_uid=U000000; Hm_ct_6bcd52f51e9b3dce32bec4a3997715ac=6525*1*10_28743752430-1568527833609-503066!5744*1*ifubing; bubble=true; Hm_lvt_6bcd52f51e9b3dce32bec4a3997715ac=1569554466,1569554522,1569555652,1569555659; TY_SESSION_ID=7c360284-e410-45ab-b07b-df24b5706c4a; dc_tos=pyh0yb; Hm_lpvt_6bcd52f51e9b3dce32bec4a3997715ac=1569555731

》如何获得完整的请求头？

方法演练

host

服务器主机域名或IP地址

Connection

连接状态

keep-alive，保持链接

提高请求效率，减少请求数据时的三次握手四次挥手

User-Agent

请求相关的信息

试一试

电脑访问

手机访问

它的用途

Upgrade-Insecure-Requests

升级不安全的请求

自动提升安全请求级别

Accept-Language

接收的语言

Cookie

请求时带过云的相关数据

cookie有存储上限，不安全

》

使用分号与空格分开

》请求cookie

请求头小结

爬虫-04-常见的请求头相关推荐

HTTP最常见的请求头
HTTP最常见的请求头如下: l Accept:浏览器可接受的MIME类型: l Accept-Charset:浏览器可接受的字符集: l Accept ...
python爬虫京东中文乱码_python3爬虫中文乱码之请求头‘Accept-Encoding’：br 的问题...
当用python3做爬虫的时候,一些网站为了防爬虫会设置一些检查机制,这时我们就需要添加请求头,伪装成浏览器正常访问. header的内容在浏览器的开发者工具中便可看到,将这些信息添加到我们的爬虫代码 ...
Python——爬虫【Requests设置请求头Headers】
1.为什么要设置headers? 在请求网页爬取的时候,输出的text信息中会出现抱歉,无法访问等字眼,这就是禁止爬取,需要通过反爬机制去解决这个问题. headers是解决requests请求反爬的 ...
爬虫-05-http常见的请求方式与状态码
两种常见的请求 get post 常见的状态码 HTTP状态码详解 http://tool.oschina.net/commons?type=5
python 请求头_Python爬虫：将headers请求头字符串转为字典
第一种方法如上图所示,然后复制粘贴到pycharm里,存放到字典里然后使用ctrl+r快捷键打开替换功能,并勾选Regex 替换源为:(.?): (.?)$ 替换为:"$1": ...
常见的请求头以及它们的作用是什么？（较详细）
1.首先最常用的:Accept:它的作用是:客户端接收的数据格式: 比方说你的参数值填写的是application/json,就说明浏览器所接收的数据是json类型的数据,当你加了Accept请求头之 ...
node爬虫伪造ip与请求头
//浏览器库 const userAgents = ["Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 ...
JavaScript常见的请求头和响应头
1 请求(客户端->服务端[request]) GET(请求的方式) /newcoder/hello.html(请求的目标资源) HTTP/1.1(请求采用的协议和版本号) Accept: /( ...
常见的请求头的用户代理User-Agent汇总
1. PC端User-Agent # 百度 "Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/sp ...

爬虫-04-常见的请求头

HTTP请求

host

Connection

User-Agent

Upgrade-Insecure-Requests

Accept-Language

Cookie

请求头小结

爬虫-04-常见的请求头相关推荐

最新文章

热门文章