利用python爬虫(part12)--随机获取UserAgent

学习笔记

fake_useragent模块

通常，我都是自己在网上找User-Agent，然后写一个模块，把收集到的User-Agent一股脑塞进这个模块中，爬虫的时候再import这个模块，随机调用模块里的User-Agent。

现在，有一个fake_useragent模块，可以在线随机生成User-Agent供我们使用，似不似很方便？

语法

from fake_useragent import UserAgent
ua = UserAgent()
user_agent = ua.random

举个例子

我们向测试网站(http://httpbin.org/get, 当我们向这个网站发起请求时，网站会返回我们的请求头)发起请求, 并打印出网站响应给我们的内容：

from fake_useragent import UserAgent
import requestsurl = 'http://httpbin.org/get'
ua = UserAgent()
headers = {'User-Agent':ua.random}
html = requests.get(url, headers = headers).content.decode('utf-8')
print(html)

输出：

{"args": {}, "headers": {"Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Host": "httpbin.org", "User-Agent": "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 7.0; InfoPath.3; .NET CLR 3.1.40767; Trident/6.0; en-IN)", "X-Amzn-Trace-Id": "Root=1-5e915065-2d8689c8c024b608cb156ba0"}, "origin": "60.171.97.20", "url": "http://httpbin.org/get"
}[Finished in 4.1s]

可以看到fake_useragent模块的确帮助我们生成了一个User-Agent。

利用python爬虫(part12)--随机获取UserAgent相关推荐

Python爬虫 | 利用python爬虫获取想要搜索的数据
这篇文章主要介绍了利用Python爬虫采集想要搜索的信息(利用某du的接口实现)并且处理掉它的反爬手段,文中示例代码很详细,具有一定的学习价值,感兴趣的小伙伴快来一起学习吧. ☀️新人小白博主
python爬虫爬取音乐_利用python爬虫实现爬取网易云音乐热歌榜
利用python爬虫实现爬取网易云音乐热歌榜发布时间:2020-11-09 16:12:28 来源:亿速云阅读:102 作者:Leah 本篇文章给大家分享的是有关利用python爬虫实现爬取网易云 ...
小游戏，利用Python爬虫之制作诗歌接龙
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理以下文章来源于腾讯云作者:数据森麟 ( 想要学习Python?Python学习交 ...
手把手教你利用 python 爬虫分析基金、股票
手把手教你利用 python 爬虫分析基金.股票文章目录手把手教你利用 python 爬虫分析基金.股票第一步:基金数据爬取第二步:股票增持计算第三步:好股基金选取桌面程序 exe 从前大 ...
利用python爬虫与数据分析，打造最强玩法，轻松成为大神级玩家！
前言: 最近迷上了一款游戏,但是作为一名程序员的我是不可能只玩游戏的,我必须把它的官网数据采集下来! 环境: windows python3.6.5 模块: requests jsonpath pyg ...
【爬虫】利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中（2）...
[爬虫]利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中(2) 第一篇( http://blog.itpub.net/26736162/viewspace-22865 ...
Python爬虫基础-如何获取网页源代码
Python爬虫基础-如何获取网页源代码网络爬虫(Web Crawler),又称网页蜘蛛(Web Spider),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.爬虫程序根据一组特定的规则 ...
python爬虫怎么赚钱-个人利用Python爬虫技术怎么挣钱-10万被动收入...
我利用Python爬虫技术年挣10万被动收入的方式,在正式聊Python爬虫技术之前,先来说说挣钱的事,说说作为一个自由职业或兼职者怎么利用爬虫来挣钱. 个人爬虫挣钱方法大致如下爬虫技术挣钱方法1: ...
python爬虫赚钱的经历-个人利用Python爬虫技术怎么挣钱-10万被动收入
我利用Python爬虫技术年挣10万被动收入的方式,在正式聊Python爬虫技术之前,先来说说挣钱的事,说说作为一个自由职业或兼职者怎么利用爬虫来挣钱. 个人爬虫挣钱方法大致如下爬虫技术挣钱方法1: ...

利用python爬虫(part12)--随机获取UserAgent

fake_useragent模块

利用python爬虫(part12)--随机获取UserAgent相关推荐

最新文章

热门文章