Requests模块设置Header的User-Agent
目录
- 何时用到 User-Agent
- 从哪里能找到 User-Agent
- 常见的 User-Agent 有哪些
- fake-useragent 模块
- 参考
何时用到 User-Agent
在使用 Python 的 Requests (等类似模块) 模拟浏览器向服务器发送 Http 请求时,通常需要设置 Request Header
,而其中较为关键的一项就是 User-Agent
,由于某些网站会设置对 User_Agent 反爬虫机制,因此我们发送 Http 请求时必要的加上 User-Agent
来标明访问者的信息。
从哪里能找到 User-Agent
- 打开浏览器的开发者选项
- 选择
Network
- 打开一个请求文件
- 在
Headers
里可以看到Request Headers
的user-agent
常见的 User-Agent 有哪些
# pc端的user-agent
user_agent_pc = [# 谷歌'Mozilla/5.0.html (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.html.2171.71 Safari/537.36','Mozilla/5.0.html (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.html.1271.64 Safari/537.11','Mozilla/5.0.html (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.html.648.133 Safari/534.16',# 火狐'Mozilla/5.0.html (Windows NT 6.1; WOW64; rv:34.0.html) Gecko/20100101 Firefox/34.0.html','Mozilla/5.0.html (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10',# opera'Mozilla/5.0.html (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.html.2171.95 Safari/537.36 OPR/26.0.html.1656.60',# qq浏览器'Mozilla/5.0.html (compatible; MSIE 9.0.html; Windows NT 6.1; WOW64; Trident/5.0.html; SLCC2; .NET CLR 2.0.html.50727; .NET CLR 3.5.30729; .NET CLR 3.0.html.30729; Media Center PC 6.0.html; .NET4.0C; .NET4.0E; QQBrowser/7.0.html.3698.400)',# 搜狗浏览器'Mozilla/5.0.html (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.html.963.84 Safari/535.11 SE 2.X MetaSr 1.0.html',# 360浏览器'Mozilla/5.0.html (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.html.1599.101 Safari/537.36','Mozilla/5.0.html (Windows NT 6.1; WOW64; Trident/7.0.html; rv:11.0.html) like Gecko',# uc浏览器'Mozilla/5.0.html (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.html.2125.122 UBrowser/4.0.html.3214.0.html Safari/537.36',
]
# 移动端的user-agent
user_agent_phone = [# IPhone'Mozilla/5.0.html (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.html.2 Mobile/8J2 Safari/6533.18.5',# IPAD'Mozilla/5.0.html (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.html.2 Mobile/8C148 Safari/6533.18.5','Mozilla/5.0.html (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.html.2 Mobile/8J2 Safari/6533.18.5',# Android'Mozilla/5.0.html (Linux; U; Android 2.2.1; zh-cn; HTC_Wildfire_A3333 Build/FRG83D) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0.html Mobile Safari/533.1','Mozilla/5.0.html (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0.html Mobile Safari/533.1',# QQ浏览器 Android版本'MQQBrowser/26 Mozilla/5.0.html (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0.html Mobile Safari/533.1',# Android Opera Mobile'Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10',# Android Pad Moto Xoom'Mozilla/5.0.html (Linux; U; Android 3.0.html; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0.html Safari/534.13',
]
可以使用如下方法随机选择一个
random.choice(user_agent_pc)
随机选取一个使用。
fake-useragent 模块
fake-useragent
就是一个随机生成 user-agent
的 Python 模块,其基本使用如下
import fake_useragent
# 实例化 user-agent 对象
ua = fake_useragent.UserAgent()
print(ua.random)
参考
[1]. 认识User-Agent
https://blog.csdn.net/weixin_30413739/article/details/99998094
[2]. Python——爬虫【Requests设置请求头Headers】
https://blog.csdn.net/ysblogs/article/details/88530124
[3]. python爬虫——Request对象之Header伪装策略
https://blog.csdn.net/weixin_38950569/article/details/105231122
[4]. fake-useragent(github)
https://github.com/hellysmile/fake-useragent
.
.
.
.
.
.
桃花仙人种桃树,又摘桃花换酒钱_
Requests模块设置Header的User-Agent相关推荐
- python3使用requests模块完成get/post/代理/自定义header/自定义Cookie
一.背景说明 http请求的难易对一门语言来说是很重要的而且是越来越重要,但对于python一是urllib一些写法不太符合人的思维习惯文档也相当难看,二是在python2.x和python3.x中写 ...
- 爬虫之requests模块发送带header的请求
爬虫之requests模块发送带header的请求 我们先写一个获取百度首页的代码 import requestsurl = 'https://www.baidu.com'response = req ...
- requests模块proxies代理IP设置无效问题的解决
学python踩了很多坑,从本站好多文章里学了好多,解决了好多坑,今天又解决了一个,感觉因该记录下来. 感谢:这位博主 援引:(Python)python3.7以后requests模块proxy(代理 ...
- python requests_Python爬虫之requests模块
# requests模块 知识点: 掌握 headers参数的使用 掌握 发送带参数的请求 掌握 headers中携带cookie 掌握 cookies参数的使用 掌握 cookieJar的转换方法 ...
- python requests 示例_python的requests模块实现登陆示例
51cto用python的requests模块实现登陆示例代码如下: -- coding:utf-8 -- import requests import re client = requests.se ...
- python requests模块_Python 爬虫教程 requests 模块
经过 前边文章<简单Python爬虫教程 (一)>.简单Python爬虫教程 (二)两篇文章的学习,能写一些比较简单的爬虫了,但是还不够,这一篇文章主要介绍Requests模块,reque ...
- python3 requests模块
1.requests简介 requests是通过urllib3实现自动发送HTTP/1.1请求,它能轻松的实现cookies,登陆验证,代理设置等操作. Python内置的urllib模块,用于访问网 ...
- 爬虫中之Requests 模块的进阶
requests进阶内容 session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取 引入 有些时候,我们在使用爬虫程序去爬取一些用户相关信息的数据(爬取张三" ...
- 基于requests模块的cookie,session和线程池爬取
基于requests模块的cookie,session和线程池爬取 有些时候,我们在使用爬虫程序去爬取一些用户相关信息的数据(爬取张三"人人网"个人主页数据)时,如果使用之前req ...
最新文章
- 设计模式(十二):通过ATM取款机来认识“状态模式”(State Pattern)
- node debug包
- python三:if...else
- 使用组策略禁用注册表编辑工具
- Python3安装Scrapy爬虫框架
- H264视频压缩编码标准简介(二)
- AOP和IOC个人理解
- Python 之 %s字符串、%d整型、%f浮点型
- sql查询分析器 只读_DRDS 只读实例来解决复杂 SQL 查询
- QQ概念版酿杯具,头条下载竟是病毒
- 苹果耳机无线真假测试软件,苹果耳机“真伪”终极鉴别来了,原来,区别如此大!...
- vb 服务器mysql_VB 连接mysql网络数据库的代码
- IMU预积分公式汇总
- 解决pymysql.err.InternalError: (1054, Unknown column '某某某' in 'field list') 的问题
- 如何看台式机计算机编号,如何查看台式电脑的主机编号和型号
- 网络基本知识【数据传输流程】
- 交通灯keil程序加2位数码管_51单片机红绿灯两个数码管显示实验报告
- Unity优化大全(八)之 GPU-Ligh和其他
- 四川长虹IHO-3300AD_高安版_S905L3芯_精简优化_线刷固件包
- CSS中div的边框
热门文章
- 表关联之内关联用法案例详解
- 2019-2-16-WPF-封装-dotnet-remoting-调用其他进程
- Thc-Ipv6 使用
- Ubuntu16.04 安装配置深度学习配置:GPU加速 Cuda+cudnn+opencv+caffe
- ORB-SLAM2的源码阅读(十二):Optimizer类
- See You Again
- Kosaraju算法求强连通分量
- 安卓手机小说阅读器_小说迷安卓app2020最新版下载安卓版下载_小说迷安卓app2020最新版下载v3.1.8手机版apk下载...
- 分类器的不同的性能评价指标
- 千锋教育python2104期总结day14