一行代码搞定 Scrapy 随机 User-Agent 设置
摘要:爬虫过程中的反爬措施非常重要,其中设置随机 User-Agent 是一项重要的反爬措施,Scrapy 中设置随机 UA 的方式有很多种,有的复杂有的简单,本文就对这些方法进行汇总,提供一种只需要一行代码的设置方式。
最近使用 Scrapy 爬一个网站,遇到了网站反爬的情况,于是开始搜索一些反爬措施,了解到设置随机 UA 来伪装请求头是一种常用的方式,这能够做到一定程度上避免网站直接识别出你是一个爬虫从而封掉你。设置随机 UA 的方法有挺多种,有的需要好多行代码,有的却只需要一行代码就搞定了,接下来就来介绍下。
常规设置 UA
首先,说一下常规情况不使用 Scrapy 时的用法,比较方便的方法是利用 fake_useragent包,这个包内置大量的 UA 可以随机替换,这比自己去搜集罗列要方便很多,下面来看一下如何操作。
首先,安装好fake_useragent包,一行代码搞定:
pip install fake-useragent
然后,就可以测试了:
1fromfake_useragentimportUserAgent2ua = UserAgent()3foriinrange(10):4print(ua.random)
这里,使用了 ua.random 方法,可以随机生成各种浏览器的 UA,见下图:
(放大查看)
如果只想要某一个浏览器的,比如 Chrome ,那可以改成 ua.chrome,再次生成随机 UA 查看一下:
以上就是常规设置随机 UA 的一种方法,非常方便。
下面,我们来介绍在 Scrapy 中设置随机 UA 的几种方法。
先新建一个 Project,命名为 wanojia,测试的网站选择为:http://httpbin.org/get。
首先,我们来看一下,如果不添加 UA 会得到什么结果,可以看到显示了scrapy,这样就暴露了我们的爬虫,很容易被封。
下面,我们添加上 UA 。
直接设置 UA
第一种方法是和上面程序一样,直接在主程序中设置 UA,然后运行程序,通过下面这句命令可以输出该网站的 UA,见上图箭头处所示,每次请求都会随机生成 UA,这种方法比较简单,但是每个 requests 下的请求都需要设置,不是很方便,既然使用了 Scrapy,它提供了专门设置 UA 的地方,所以接下来我们看一下如何单独设置 UA。
1response.request.headers[‘User-Agent’]
手动添加 UA
第二种方法,是在 settings.py 文件中手动添加一些 UA,然后通过 random.choise 方法随机调用,即可生成 UA,这种方便比较麻烦的就是需要自己去找 UA,而且增加了代码行数量。
middlewares.py 中设置 UA
第三种方法,是使用 fake-useragent 包,在 middlewares.py 中间件中改写 process_request() 方法,添加以下几行代码即可。
'''.
遇到问题没人解答?小编创建了一个Python学习交流QQ群:857662006 寻找有志同道合的小伙伴,互帮互助,
群里还有不错的视频学习教程和PDF电子书!
'''
1fromfake_useragentimportUserAgent2classRandomUserAgent(object):3defprocess_request(self, request, spider):4ua = UserAgent()5request.headers['User-Agent'] = ua.random
然后,我们回到 settings.py 文件中调用自定义的 UserAgent,注意这里要先关闭默认的 UA 设置方法才行。
1DOWNLOADER_MIDDLEWARES = {2'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware':None,3'wandoujia.middlewares.RandomUserAgent':543,4}
可以看到,我们成功得到了随机 UA。
一行代码设置 UA
可以看到,上面几种方法其实都不太方便,代码量也比较多,有没有更简单的设置方法呢?
有的,只需要一行代码就搞定,利用一款名为scrapy-fake-useragent 的包。
先贴一下该包的官方网址:https://pypi.org/project/scrapy-fake-useragent/,使用方法非常简单,安装好然后使用就行了。
执行下面的命令进行安装,然后在 settings.py 中启用随机 UA 设置命令就可以了,非常简单省事。
'''.
遇到问题没人解答?小编创建了一个Python学习交流QQ群:857662006 寻找有志同道合的小伙伴,互帮互助,
群里还有不错的视频学习教程和PDF电子书!
'''
1pip install scrapy-fake-useragent1DOWNLOADER_MIDDLEWARES = {2'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware':None,# 关闭默认方法3'scrapy_fake_useragent.middleware.RandomUserAgentMiddleware':400,# 开启4}
我们输出一下 UA 和网页 Response,可以看到成功输出了结果。
以上就是 Scrapy 中设置随机 UA 的几种方法,推荐最后一种方法,即安装 scrapy-fake-useragent 库,然后在 settings 中添加下面这一行代码即可:
1'scrapy_fake_useragent.middleware.RandomUserAgentMiddleware':400,
另外,反爬措施除了设置随机 UA 以外,还有一种非常重要的措施是设置随机 IP,我们后续再进行介绍。
一行代码搞定 Scrapy 随机 User-Agent 设置相关推荐
- WPF使用Linq 一行代码搞定数据绑定
首先设置好DataGrid控件的相关属性,注意XAML代码文件中的列绑定要和源数据的列名一致,如: Binding="{Binding No}" 详细设置如下: this.data ...
- 开源作品ThinkJDBC—一行代码搞定数据库操作
1 简介 ThinkJD,又名ThinkJDBC,一个简洁而强大的开源JDBC操作库.你可以使用Java像ThinkPHP框架的M方法一样,一行代码搞定数据库操作.ThinkJD会自动管理数据库连接, ...
- 成功解决numpy.ndarray格式类型转数据为list格式数据带有中括号(一行代码搞定!)
成功解决numpy.ndarray格式类型转数据为list格式数据带有中括号(一行代码搞定!) 目录 解决问题 解决思路 解决方法 解决问题 numpy.ndarray格式类型转数据为list格式数据 ...
- 【Python】Autoviz: 一行代码搞定数据集探索并可视化
数据集各个特征有什么变化趋势.各个特征之间有何关系,我们可以借助Matplotlib.Seaborn等诸多工具来可视化展示,那么有没有一种工具能一次展示所有的关系了? 本文要介绍的Python工具Au ...
- 一行代码搞定 FTP 服务
环境搭建: python windows/linux pip install pyftpdlib (安装失败请到这里下载:https://pypi.python.org/pypi/pyftpdlib/ ...
- 一行代码搞定 GitHub 访问徽章
相信对于使用 GitHub 的小伙伴来说,以上 GitHub 徽章(badge)应该都不怎么陌生吧.如果你想快速用起来,找到你想要的徽章代码 ctrl+c & ctrl+v ,再修改对应的 G ...
- SDAutoLayout 一行代码搞定自动布局
SDAutoLayout(一行代码搞定自动布局!) QQ交流群:519489682(已满)497140713 ☆☆ SDAutoLayout 基础版视频教程:http://www.letv.com/p ...
- thinkjdbc 关闭_ThinkJD: ThinkJD,又名ThinkJDBC,一个强大的开源JDBC/ORM操作库,让你尽可能简洁地用一行代码搞定数据库操作。...
1 简介 ThinkJD,又名ThinkJDBC,一个简洁而强大的开源JDBC操作库.你可以使用Java像ThinkPHP框架的M方法一样,一行代码搞定数据库操作.ThinkJD会自动管理数据库连接, ...
- Android 一行代码搞定将错误日志放入到sd卡中且不需要任何权限,适配到android7.0
Android 一行代码搞定将错误日志放入到sd卡中且不需要任何权限,适配到android7.0 之前所有的项目都有一个将崩溃日志写入到sd卡的工具类,然后每次项目新建都从老项目copy过来,后来慢慢 ...
最新文章
- IE 8兼容:meta http-equiv=X-UA-Compatible content=IE=edge / X-UA-Compatible的解释
- Ubuntu 安装配置Git过程记录
- 工业用微型计算机(9)-指令系统(6)
- Hadoop 集群启动与停止
- datatable对两个csv的join操作
- ajax怎么在html与php中使用,如何使用ajax和php将数据从数据库表放到html表
- 【零基础学Java】—哈希值(四十一)
- stl------set
- #脚本实现宠物动作行为_短视频剧情创作方法有哪些?爆款短视频的标配,只需88个脚本模板...
- ***编程DIY (Delphi版) - 第2篇 单实例运行
- WebRTC 什么是source,track, sink?什么是AudioSink,VideoSink,MediaSink?
- 【prince2考试扫盲】Prince2 跟 pmp 有什么区别?项目经理考哪一个?详细解答来了
- 笔记本电脑总是锁定计算机呢,笔记本电脑键盘锁定了怎么办有什么方法解锁
- 【17.12.22.B】
- 安卓沉浸式状态栏_要简单还要沉浸 Dacom L10 主动降噪(ANC)蓝牙耳机体验
- xs128 D-Flash读写
- 需求定律公式和需求弹性推导——《可以量化的经济学》
- QT+OSG/osgEarth编译之三十八:Snappy+Qt编译(一套代码、一套框架,跨平台编译,版本:Snappy-1.1.9)
- 使用CrawlSpider爬取糗事百科段子
- LevelDB的边边角角之一
热门文章
- PHP Warning: date(): It is not safe to rely on the system's timezone settings
- 路由器DHCP,单臂路由配置
- 网络系统工程师的最终归宿(一)创业还是打工
- linux 文件夹换所属用户,Linux中账号管理之权限管理(下)
- 程序间数据共享与传递(3):EXPORT/IMPORT、SAP/ABAP Memory
- Gartner:大数据和BI商业智能的差别和影响
- 从Run Simple到Run Live,SAP有哪些新变化?
- 查询删除的外向交货单
- SAP物料类型与物料库存信息在哪个表中
- 工作总结的写作方法与要领