爬虫高级之header表头加Host和Upgrade-Insecure-Requests: 1

在爬取51jb时遇到的问题

1.爬出的数据是重复的

2.数据显示不正确

解决方法

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36","Host":"search.51job.com","Upgrade-Insecure_Requests":"1"}
url="https://js.51jobcdn.com/in/js/2016/layer/area_array_c.js?20200429"r = requests.get(url, headers=headers)
print(r.content.decode('gbk'))

加入"Host":"search.51job.com"和 “Upgrade-Insecure_Requests”:“1”

爬虫高级之header表头加Host和Upgrade-Insecure-Requests: 1相关推荐

js如何将数据放在一个内置窗口里面_Java 爬虫遇上数据异步加载，试试这两种办法！...
这是 Java 爬虫系列博文的第三篇,在上一篇 Java 爬虫遇到需要登录的网站,该怎么办? 中,我们简单的讲解了爬虫时遇到登录问题的解决办法,在这篇文章中我们一起来聊一聊爬虫时遇到数据异步加载的问题 ...
java 爬虫异步_Java 爬虫遇上数据异步加载，试试这两种办法！
这是 Java 爬虫系列博文的第三篇,在上一篇 Java 爬虫遇到需要登录的网站,该怎么办? 中,我们简单的讲解了爬虫时遇到登录问题的解决办法,在这篇文章中我们一起来聊一聊爬虫时遇到数据异步加载的问题 ...
http request header 中的host行的作用
http request header 中的host行的作用转载:https://www.xuebuyuan.com/491841.html 小结于网络资源: 在早期的Http 1.0版中,Http ...
JAVA异步爬虫_Java 爬虫遇上数据异步加载，试试这两种办法！
这是 Java 爬虫系列博文的第三篇,在上一篇 Java 爬虫遇到需要登录的网站,该怎么办? 中,我们简单的讲解了爬虫时遇到登录问题的解决办法,在这篇文章中我们一起来聊一聊爬虫时遇到数据异步加载的问题 ...
vue table表格中只有表头加竖线分割
table表格中只有表头加竖线分割给<el-table>加一个属性 : :header-cell-style="{'border-right':'1px solid #8888 ...
给Table表头加必选小星号
给Table表头加必选小星号 html代码 <el-table-column label="'数量'" :render-header="addRedStar&quo ...
给el-table表头加必选星号 - vue篇
目录操作步骤操作步骤 html代码 <el-table-column label="'数量'" :render-header="addRedStar" ...
计算机等级证入深户加分嘛,2019深圳积分入户高级工证书能加多少分
原标题:2019深圳积分入户高级工证书能加多少分 2019深圳积分入户高级工证书能加多少分 2019深圳积分入户高级工证书能加多少分? 高级工证书,全称为高级职业技能资格证书,为人社局颁发.在深圳积分 ...
实现给el-table表头加必填符号星号（红*）
网上查了很多种方法,其中有说header-cell-style或header-cell-class-name来改变表头的style或类: 这样的方法在小项目中可以适用,但在大项目里,很难定位到可以产生 ...

爬虫高级之header表头加Host和Upgrade-Insecure-Requests: 1

在爬取51jb时遇到的问题

1.爬出的数据是重复的

2.数据显示不正确

解决方法

加入"Host":"search.51job.com"和 “Upgrade-Insecure_Requests”:“1”

爬虫高级之header表头加Host和Upgrade-Insecure-Requests: 1相关推荐

最新文章

热门文章