urllib3爬取网页源代码（爬虫）

程序注释内说明的很清楚，大家看注释就好了。

#成功运用urllib3爬取网页源代码，本来ua中只用了user-agent，返回的是百度的反爬嘲讽，之后把所有headers全加入ua，则成功侵入
import urllib3
from urllib.parse import urlencode
manager = urllib3.PoolManager()#相当于套接字的功能，让服务器与请求端进行交互
#指定url
url='https://image.baidu.com/search/index?tn=baiduimage&ps=1&ct=201326592&lm=-1&cl=2&nc=1&ie=utf-8&dyTabStr=MCwzLDIsNiwxLDQsNSw3LDgsOQ%3D%3D&word=%E4%BB%93%E9%BC%A0'
#设置请求头
ua={
"Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
"Accept-Encoding":"gzip, deflate, br",
"Accept-Language":"zh-CN,zh;q=0.9",
"Cache-Control":"max-age=0",
"Connection":"keep-alive",
"Cookie":"winWH=%5E6_1536x722; BDIMGISLOGIN=0; BIDUPSID=E13BF43F2E6123BE5A9421171ED470E5; PSTM=1633156200; __yjs_duid=1_c992e7eb62695c285914fe1d41b022501633165312820; BDUSS=jl5VEhGcXBsRFA3UG1tWExBUHRNYUNXNDB6eDVDU3o0SlZULUszc2IxMzZnUWRpRVFBQUFBJCQAAAAAAAAAAAEAAADFloSywM~Lvrv6v6qztbChZ28AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAPr032H69N9hc; BDUSS_BFESS=jl5VEhGcXBsRFA3UG1tWExBUHRNYUNXNDB6eDVDU3o0SlZULUszc2IxMzZnUWRpRVFBQUFBJCQAAAAAAAAAAAEAAADFloSywM~Lvrv6v6qztbChZ28AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAPr032H69N9hc; H_WISE_SIDS=107316_110085_127969_131862_132547_179347_184716_189037_189325_189755_190248_190627_191067_191247_191287_191371_192206_192387_193284_194085_194511_194520_194600_195038_195187_195342_196426_196514_197241_197470_197471_197478_197711_197782_197957_198265_198649_199023_199082_199176_199305_199440_199468_199490_199571_199598_199752_199845_200274_200349_200490_200743_201055_201107_201191_201328_201548_201554_201577_201581_201600_201701_201733_201947_201969_201978_201996_202059_202177_202283_202392_202476_202545_202553_202823_202915_202923_202969_203253_203520_203534_203576_203605_203688_203787; BAIDUID=BCB9B949EFF4B79A1AE6DF590C38F2BF:FG=1; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; MCITY=-%3A; H_PS_PSSID=31254_26350; BAIDUID_BFESS=BCB9B949EFF4B79A1AE6DF590C38F2BF:FG=1; BDRCVFR[dG2JNJb_ajR]=mk3SLVN4HKm; BDRCVFR[tox4WRQ4-Km]=mk3SLVN4HKm; BDRCVFR[-pGxjrCMryR]=mk3SLVN4HKm; ab_sr=1.0.1_Mzk0OTM2N2MxYTcyNzcxYjY4OWMwMzU2ZmYyZjE4MDg1MWQ5OGQ3NWM2MDI3MGNhZmM4NDkxMjZkOWE0MTQ4YjBlZGU3ZWE2ZGQ3YzVmZWE2MGQ4NjBiYjk4NTZkZjMzYjBhOTY0MDkyOWVhMGFlMjEzZTkwZDEwOTdmYzFjOWE2ZTY3ZTVlOTBhNGYzNDE2NTA1YWY1MGI2YmI3MTcxZWQxNzMxNjEwNzFkYTU0NzE0ODQwMWJjN2MyMWYxMTg5; delPer=0; PSINO=1; BA_HECTOR=ag2k212g2laha12g5d1h33j8u0q",
"Host":"image.baidu.com",
"Referer":"https://www.baidu.com/",
"sec-ch-ua-mobile":"?0",
"Sec-Fetch-Dest":"document",
"Sec-Fetch-Mode":"navigate",
"Sec-Fetch-Site":"same-origin",
"Sec-Fetch-User":"?1",
"Upgrade-Insecure-Requests":"1",
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36",
}
#设置超时时间,一般为浮点数
tm=urllib3.Timeout(connect=1.0,read=3.0)
#设置重试次数并生成请求
rq=manager.request(method='GET',url=url,headers=ua,timeout=tm,retries=5,redirect=4)
#查看响应码
print('服务器返回的响应码为：',rq.status,'\n\n\n')
#查看获取的内容
rsdata=rq.data.decode('utf-8')#字节转字符串
print(rsdata)

设置请求头的那部分可能会有人不理解，首先我是只在字典里设置了user-agent，但是返回的却是：

所以这里肯定是因为baidu的一些反爬机制，导致我们仅仅用ua的话，是无法得到我们想要的东西的，所以我将全部的请求头全部复制下来，以此来尝试，成功得到数据

复制下来过后还需要对这些进行一些修改，将此复制到一个pycharm的空py文件里，如图

按ctrl+R，注意，这里需要点击正则表达式键，输入下列

点击全部替换，则变成下图，注意，下图中''后的空格全部需要删掉，而且粘贴到ua字典中后每行后面需要加逗号。

全部代码都完工后可能程序会报错，我当时也遇到这个问题了，细心的小伙伴可能会发现，这个请求头里面的内容比上面的完整代码中的多一些，正是因为多余的才报错，我照报错提示删除后就成功运行了，希望对大家会有帮助。

更新：我上述讲的对ua内容的处理，其实改一下正则表达式就可以一步到位了，最后只需把最后一个逗号删去即可：

特此特别感谢B站一位UP主的教程，深得帮助：千叶羽hy

urllib3爬取网页源代码（爬虫）相关推荐

C++实现爬取网页源代码并下载至本地文件（可直接运行）
文章目录 1.引言 2.演示效果 3.源码 4.补充 1.引言哈喽,各位小伙伴们,今天我给大家分享的是如何用C++实现爬取网页源代码. 本人用的开发环境为visual studio 2013,涉及到 ...
【用Java爬取网页图片——爬虫爬取数据】
用Java爬取网页图片--爬虫爬取数据 1.在创建项目中导入jsoup 2.创建一个保存下载图片的路径 3.使用URL读取网页路径,jsoup读取网页内容 4.利用属性标签获取图片连接块 5.因为该路 ...
爬虫概念与编程学习之如何爬取网页源代码（一）
直接,去看一个网页的源代码,这个很简单! 1.新建maven项目 2.选择代码保存位置 3.选择quickstart 4.设置Group Id和Artifact Id 5.得到新建好的maven项目 ...
Python3 爬虫（一）-----爬取网页源代码
参考博客:http://blog.csdn.net/mr_tank_/article/details/14102159 刚刚学了正则表达式,就用Python玩了玩由于Python3 和Python2 ...
python爬取网页源代码并存储到本地实例
这里要用到urllib库所以首先要安装库 1.windows+r 2.cmd 3.pip install urllib 4.运行下面代码 5.存储完成后,就可以在没有联网的情况下,也能在本地打开该网 ...
Java爬取网页源代码解析
1.搜索词的地址采用模拟地址方法(通过分析搜索引擎的参数得到,如百度),然后将搜索词加到模拟的地址中. 2.函数的输入参数是模拟地址. String query = URLEncoder.encode ...
java实现专门爬取网页图片的软件
发现我的不足: 1.对awt和swing的使用十分的差劲,时不时就要查一下博客... 可以做一个专门爬取网页图片的软件,功能已经实现了,就UI对应的设计一下就好了. 做完了..虽然有很大的局限,但是功 ...
python爬取网页表格数据匹配,python爬虫——数据爬取和具体解析
标签:pattern div mat txt 保存关于 json result with open 关于正则表达式的更多用法,可参考链接:https://blog.c ...
一个咸鱼的python_一个咸鱼的Python爬虫之路（三）：爬取网页图片
学完Requests库与Beautifulsoup库我们今天来实战一波,爬取网页图片.依照现在所学只能爬取图片在html页面的而不能爬取由JavaScript生成的图. 所以我找了这个网站 http: ...
用python爬虫爬取网页壁纸图片（彼岸桌面网唯美图片）
参考文章:https://www.cnblogs.com/franklv/p/6829387.html 今天想给我的电脑里面多加点壁纸,但是嫌弃一个个保存太慢,于是想着写个爬虫直接批量爬取,因为爬虫只 ...

urllib3爬取网页源代码（爬虫）

urllib3爬取网页源代码（爬虫）相关推荐

最新文章

热门文章