python post请求头部伪装随机（防止封ip）

import random
def get_headers():'''随机获取一个headers'''user_agents =  ['Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1','Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50','Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36','Mozilla/5.0(Macintosh;U;IntelMacOSX10_6_8;en-us)AppleWebKit/534.50(KHTML,likeGecko)Version/5.1Safari/534.50','Mozilla/5.0(compatible;MSIE9.0;WindowsNT6.1;Trident/5.0','Mozilla/4.0(compatible;MSIE8.0;WindowsNT6.0;Trident/4.0)','Mozilla/4.0(compatible;MSIE7.0;WindowsNT6.0)','Mozilla/4.0(compatible;MSIE6.0;WindowsNT5.1)','Mozilla/5.0(Macintosh;IntelMacOSX10.6;rv:2.0.1)Gecko/20100101Firefox/4.0.1','Mozilla/5.0(WindowsNT6.1;rv:2.0.1)Gecko/20100101Firefox/4.0.1','Opera/9.80(Macintosh;IntelMacOSX10.6.8;U;en)Presto/2.8.131Version/11.11','Opera/9.80(WindowsNT6.1;U;en)Presto/2.8.131Version/11.11','Mozilla/5.0(Macintosh;IntelMacOSX10_7_0)AppleWebKit/535.11(KHTML,likeGecko)Chrome/17.0.963.56Safari/535.11','Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;Maxthon2.0)','Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;TencentTraveler4.0)','Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1)','Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;TheWorld)','Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;Trident/4.0;SE2.XMetaSr1.0;SE2.XMetaSr1.0;.NETCLR2.0.50727;SE2.XMetaSr1.0)','Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;360SE)','Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;AvantBrowser)','Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1)']headers = {'User-Agent':random.choice(user_agents)}#headers = {'User-Agent':user_agents[15]}return headers

python post请求头部伪装随机（防止封ip）相关推荐

Python爬取大量数据时防止被封IP
From:http://blog.51cto.com/7200087/2070320 基于scrapy框架的爬虫代理IP设置:https://www.jianshu.com/p/074c36a7948 ...
python爬虫cookie池与ip绑定_Python爬虫防封ip的一些技巧
在编写爬虫爬取数据的时候,因为很多网站都有反爬虫措施,所以很容易被封IP,就不能继续爬了.在爬取大数据量的数据时更是瑟瑟发抖,时刻担心着下一秒IP可能就被封了. 本文就如何解决这个问题总结出一些应对措 ...
Python网络请求库Requests，妈妈再也不会担心我的网络请求了(二)
本文同步发表于我的微信公众号,扫一扫文章底部的二维码或在微信搜索极客导航即可关注,每个工作日都有文章更新. 一.概况接着上篇说,如果你真以为Requests网络请求库只有Get请求和Post请求 ...
Python爬虫批量访问突破访问限制封禁的方法
坑述数据采集常用的方法是写一个爬虫程序向网络服务器请求数据(通常是用HTML表单或其他网页文件),然后对数据进行解析,提取需要的信息. 然而批量访问时会有访问限制更会认为频繁访问是恶意攻击,对i ...
分享一个抓取网易云不同分类下歌曲热评的python爬虫，并且不怕被封ip（非使用代理）
这个爬虫是我一门课程的作业中用到,很久了,偶然想起就分享到这里吧,我写的大部分代码,小部分由我同学完成. 再抓评论过程中被封ip这是个令人头疼的事情,如果你是宽带用户,并且是动态ip,被封ip后直接调 ...
Python爬虫再也不怕封ip了
Python 基于BS4----爬虫文章目录 Python 基于BS4----爬虫 1.前期基础准备知识 2. 需要安装到的库 3. 爬虫步骤 4. 通用爬取页面 5. 用代理获取网页源代码简单总 ...
python request 请求头_python爬虫请求头如何设置？
一.requests设置请求头: import requests url="http://www.targetweb.com" headers={ 'Accept':'text/h ...
Python爬虫被封ip解决方案
在使用 Python 程序进行网络爬虫开发时,可能因以下原因导致被封 IP 或封禁爬虫程序: 1.频繁访问网站爬虫程序可能会在很短的时间内访问网站很多次,从而对目标网站造成较大的负担和压力,这种行为 ...
Python Socket请求网站获取数据
Python Socket请求网站获取数据 ---阻塞 I/O ->收快递,快递如果不到,就干不了其他的活 ---非阻塞I/0 ->收快递,不断的去问,有没有送到,有没有送到,. ...
Python网络请求urllib和urllib3详解
1. 简介 urllib是Python中请求url连接的官方标准库,在Python2中主要为urllib和urllib2,在Python3中整合成了urllib. 而urllib3则是增加了连接池等功 ...

python post请求头部伪装随机（防止封ip）

python post请求头部伪装随机（防止封ip）相关推荐

最新文章

热门文章