程序注释内说明的很清楚,大家看注释就好了。

#成功运用urllib3爬取网页源代码,本来ua中只用了user-agent,返回的是百度的反爬嘲讽,之后把所有headers全加入ua,则成功侵入
import urllib3
from urllib.parse import urlencode
manager = urllib3.PoolManager()#相当于套接字的功能,让服务器与请求端进行交互
#指定url
url='https://image.baidu.com/search/index?tn=baiduimage&ps=1&ct=201326592&lm=-1&cl=2&nc=1&ie=utf-8&dyTabStr=MCwzLDIsNiwxLDQsNSw3LDgsOQ%3D%3D&word=%E4%BB%93%E9%BC%A0'
#设置请求头
ua={
"Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
"Accept-Encoding":"gzip, deflate, br",
"Accept-Language":"zh-CN,zh;q=0.9",
"Cache-Control":"max-age=0",
"Connection":"keep-alive",
"Cookie":"winWH=%5E6_1536x722; BDIMGISLOGIN=0; BIDUPSID=E13BF43F2E6123BE5A9421171ED470E5; PSTM=1633156200; __yjs_duid=1_c992e7eb62695c285914fe1d41b022501633165312820; BDUSS=jl5VEhGcXBsRFA3UG1tWExBUHRNYUNXNDB6eDVDU3o0SlZULUszc2IxMzZnUWRpRVFBQUFBJCQAAAAAAAAAAAEAAADFloSywM~Lvrv6v6qztbChZ28AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAPr032H69N9hc; BDUSS_BFESS=jl5VEhGcXBsRFA3UG1tWExBUHRNYUNXNDB6eDVDU3o0SlZULUszc2IxMzZnUWRpRVFBQUFBJCQAAAAAAAAAAAEAAADFloSywM~Lvrv6v6qztbChZ28AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAPr032H69N9hc; H_WISE_SIDS=107316_110085_127969_131862_132547_179347_184716_189037_189325_189755_190248_190627_191067_191247_191287_191371_192206_192387_193284_194085_194511_194520_194600_195038_195187_195342_196426_196514_197241_197470_197471_197478_197711_197782_197957_198265_198649_199023_199082_199176_199305_199440_199468_199490_199571_199598_199752_199845_200274_200349_200490_200743_201055_201107_201191_201328_201548_201554_201577_201581_201600_201701_201733_201947_201969_201978_201996_202059_202177_202283_202392_202476_202545_202553_202823_202915_202923_202969_203253_203520_203534_203576_203605_203688_203787; BAIDUID=BCB9B949EFF4B79A1AE6DF590C38F2BF:FG=1; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; MCITY=-%3A; H_PS_PSSID=31254_26350; BAIDUID_BFESS=BCB9B949EFF4B79A1AE6DF590C38F2BF:FG=1; BDRCVFR[dG2JNJb_ajR]=mk3SLVN4HKm; BDRCVFR[tox4WRQ4-Km]=mk3SLVN4HKm; BDRCVFR[-pGxjrCMryR]=mk3SLVN4HKm; ab_sr=1.0.1_Mzk0OTM2N2MxYTcyNzcxYjY4OWMwMzU2ZmYyZjE4MDg1MWQ5OGQ3NWM2MDI3MGNhZmM4NDkxMjZkOWE0MTQ4YjBlZGU3ZWE2ZGQ3YzVmZWE2MGQ4NjBiYjk4NTZkZjMzYjBhOTY0MDkyOWVhMGFlMjEzZTkwZDEwOTdmYzFjOWE2ZTY3ZTVlOTBhNGYzNDE2NTA1YWY1MGI2YmI3MTcxZWQxNzMxNjEwNzFkYTU0NzE0ODQwMWJjN2MyMWYxMTg5; delPer=0; PSINO=1; BA_HECTOR=ag2k212g2laha12g5d1h33j8u0q",
"Host":"image.baidu.com",
"Referer":"https://www.baidu.com/",
"sec-ch-ua-mobile":"?0",
"Sec-Fetch-Dest":"document",
"Sec-Fetch-Mode":"navigate",
"Sec-Fetch-Site":"same-origin",
"Sec-Fetch-User":"?1",
"Upgrade-Insecure-Requests":"1",
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36",
}
#设置超时时间,一般为浮点数
tm=urllib3.Timeout(connect=1.0,read=3.0)
#设置重试次数并生成请求
rq=manager.request(method='GET',url=url,headers=ua,timeout=tm,retries=5,redirect=4)
#查看响应码
print('服务器返回的响应码为:',rq.status,'\n\n\n')
#查看获取的内容
rsdata=rq.data.decode('utf-8')#字节转字符串
print(rsdata)

设置请求头的那部分可能会有人不理解,首先我是只在字典里设置了user-agent,但是返回的却是:

所以这里肯定是因为baidu的一些反爬机制,导致我们仅仅用ua的话,是无法得到我们想要的东西的,所以我将全部的请求头全部复制下来,以此来尝试,成功得到数据

复制下来过后还需要对这些进行一些修改,将此复制到一个pycharm的空py文件里,如图

按ctrl+R,注意,这里需要点击正则表达式键,输入下列

点击全部替换,则变成下图,注意,下图中''后的空格全部需要删掉,而且粘贴到ua字典中后每行后面需要加逗号。

全部代码都完工后可能程序会报错,我当时也遇到这个问题了,细心的小伙伴可能会发现,这个请求头里面的内容比上面的完整代码中的多一些,正是因为多余的才报错,我照报错提示删除后就成功运行了,希望对大家会有帮助。

更新:我上述讲的对ua内容的处理,其实改一下正则表达式就可以一步到位了,最后只需把最后一个逗号删去即可:

特此特别感谢B站一位UP主的教程,深得帮助:千叶羽hy

urllib3爬取网页源代码(爬虫)相关推荐

  1. C++实现爬取网页源代码并下载至本地文件(可直接运行)

    文章目录 1.引言 2.演示效果 3.源码 4.补充 1.引言 哈喽,各位小伙伴们,今天我给大家分享的是如何用C++实现爬取网页源代码. 本人用的开发环境为visual studio 2013,涉及到 ...

  2. 【用Java爬取网页图片——爬虫爬取数据】

    用Java爬取网页图片--爬虫爬取数据 1.在创建项目中导入jsoup 2.创建一个保存下载图片的路径 3.使用URL读取网页路径,jsoup读取网页内容 4.利用属性标签获取图片连接块 5.因为该路 ...

  3. 爬虫概念与编程学习之如何爬取网页源代码(一)

    直接,去看一个网页的源代码,这个很简单! 1.新建maven项目 2.选择代码保存位置 3.选择quickstart 4.设置Group Id和Artifact Id 5.得到新建好的maven项目 ...

  4. Python3 爬虫(一)-----爬取网页源代码

    参考博客:http://blog.csdn.net/mr_tank_/article/details/14102159 刚刚学了正则表达式,就用Python玩了玩 由于Python3 和Python2 ...

  5. python爬取网页源代码并存储到本地实例

    这里要用到urllib库 所以首先要安装库 1.windows+r 2.cmd 3.pip install urllib 4.运行下面代码 5.存储完成后,就可以在没有联网的情况下,也能在本地打开该网 ...

  6. Java爬取网页源代码解析

    1.搜索词的地址采用模拟地址方法(通过分析搜索引擎的参数得到,如百度),然后将搜索词加到模拟的地址中. 2.函数的输入参数是模拟地址. String query = URLEncoder.encode ...

  7. java实现专门爬取网页图片的软件

    发现我的不足: 1.对awt和swing的使用十分的差劲,时不时就要查一下博客... 可以做一个专门爬取网页图片的软件,功能已经实现了,就UI对应的设计一下就好了. 做完了..虽然有很大的局限,但是功 ...

  8. python爬取网页表格数据匹配,python爬虫——数据爬取和具体解析

    标签:pattern   div   mat   txt   保存   关于   json   result   with open 关于正则表达式的更多用法,可参考链接:https://blog.c ...

  9. 一个咸鱼的python_一个咸鱼的Python爬虫之路(三):爬取网页图片

    学完Requests库与Beautifulsoup库我们今天来实战一波,爬取网页图片.依照现在所学只能爬取图片在html页面的而不能爬取由JavaScript生成的图. 所以我找了这个网站 http: ...

  10. 用python爬虫爬取网页壁纸图片(彼岸桌面网唯美图片)

    参考文章:https://www.cnblogs.com/franklv/p/6829387.html 今天想给我的电脑里面多加点壁纸,但是嫌弃一个个保存太慢,于是想着写个爬虫直接批量爬取,因为爬虫只 ...

最新文章

  1. 新冠影响男性生育能力,肾脏睾丸易感染,科学家建议康复患者检查生殖系统...
  2. python3 判断字符串是否包含指定字符
  3. 【转】[你必须知道的.NET]第二十一回:认识全面的null
  4. junit No tests found matching Method
  5. JavaScript校验网址
  6. 自然语言处理系列篇——关键词智能提取
  7. 详细介绍阿里云搭建RocketMq
  8. python彩票预测与分析_130期祥子大乐透预测奖号:后区大小分析
  9. apache服务器搭建
  10. 网站域名有哪些不同的种类?
  11. linux 如何获取最高权限 设定
  12. 简繁体互换工具:opencc
  13. 2022: LAVT: Language-Aware Vision Transformer for Referring Image Segmentation
  14. 7-4 房产税费计算2022.6.24
  15. 学习cairo的心得及资料
  16. ORACLE 根据分组排序产生序列号
  17. 利用js制作动态小时钟
  18. 批量识别PDF/OFD/PNG/JPG电子发票到EXCEL
  19. RFID-MFRC522射频识别模块,S50卡M1
  20. [MICO开发帖]MICOkit-Nucleo2.0开发连载贴——1、Micoder开发环境汉化

热门文章

  1. 涂抹oracle扩库,涂抹oracle
  2. 生鲜电商的“7年之谎”
  3. Spark MLlib数据挖掘2--基础统计分析
  4. Altium designer常用设置【转】
  5. 3.7 Go语言中的异常处理(Panic和recovering)
  6. Spring Boot 项目参数校验的常见使用场景
  7. 有向图(网)、无向图(网)的构造以及遍历
  8. VueJs笔记01-视频小码哥
  9. construct the binary tree.
  10. element ui 图标样式被覆盖解决