python批量请求url_使用Python Requests伪装成浏览器请求百度360获取关键词批量排名...

使用Python Requests伪装成浏览器请求百度360获取关键词批量排名

#!/usr/local/python/bin/python3.7

import requests,re,time,random,string

#error='360搜索_访问异常出错' #360

error="location.href.replace" #baidu

url=["www.a.com", "www.b.com"] #你要查询的网址，可以是多个

uaList = ['Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36']

with open('a.txt','r') as f: #查询的关键词保存在同一目录下a. txt

c=list(f.readlines())

for i in c:

ci=(i.rstrip("\n"))

u='https://www.baidu.com/s?wd={}'.format(ci)

#u='https://so.com/s?&q={}&pn=1'.format(ci)

sj=random.randrange(10,15)

#time.sleep(sj)

header={'User-Agent': random.choice(uaList)}

a=requests.get(u,headers=header).content.decode('utf-8')

if error in a:

print(ci,"error")

continue

lb=re.findall(r"\"text-decoration\:none\;\"\>(.*)?\;\",a)

strlb=''.join(lb)

z="不在"

for i in url:

if i in strlb:

z="在"

break

print(ci,z)

每一份赞赏源于懂得

赞赏

0人进行了赞赏支持

薛文昌

55篇文章，125W+人气，7粉丝

python批量请求url_使用Python Requests伪装成浏览器请求百度360获取关键词批量排名...相关推荐

爬取斗图网图片,使用xpath格式来匹配内容,对请求伪装成浏览器, Referer 防跨域请求...
6.21自我总结一.爬取斗图网 1.摘要使用xpath匹配规则查找对应信息文件将请求伪装成浏览器Referer 防跨域请求 2.爬取代码 #导入模块 import requests#爬取网址 ur ...
Python 爬虫篇 - 通过urllib.request伪装成浏览器绕过反爬虫爬取网页所有连接实例演示，urllib2库的安装
新版的 python 把 urllib2 改成了 urllib.request,所以直接导入 urllib2 会报错. 这是我通过 chrome92 版本的浏览器发送请求的时候抓到的头部信息,只要我在 ...
网络爬虫-获取网页中的数据加伪装头，伪装成浏览器多次访问，避免单次访问导致ip被封
User-Agent:用户代理.是一种向访问网站提供你所使用的浏览器类型.操作系统及版本.CPU 类型.浏览器渲染引擎.浏览器语言.浏览器插件等信息的标识.UA字符串在每次浏览器 HTTP 请求时发送 ...
Python接口自动化-requests模块之post请求
------·今天距2021年262天·------ 这是ITester软件测试小栈第111次推文在上一篇Python接口自动化测试系列文章:Python接口自动化-requests模块之get请求 ...
python 模拟微信浏览器请求_python+requests对app和微信小程序进行接口测试
对于web端和app端的接口测试来说,他们都是通过请求方法,url和传递的body参数进行接口请求,区别web和app的区别就是header请求的不同.不同的地方在于header中的User-Agen ...
python伪造浏览器请求头_Python3 伪装浏览器的方法示例
一.伪装浏览器对于一些需要登录的网站,如果不是从浏览器发出的请求,则得不到响应.所以,我们需要将爬虫程序发出的请求伪装成浏览器正规军. 具体实现:自定义网页请求报头. 二.使用Fiddler查看请求 ...
python爬虫京东中文乱码_python3爬虫中文乱码之请求头‘Accept-Encoding’：br 的问题...
当用python3做爬虫的时候,一些网站为了防爬虫会设置一些检查机制,这时我们就需要添加请求头,伪装成浏览器正常访问. header的内容在浏览器的开发者工具中便可看到,将这些信息添加到我们的爬虫代码 ...
Python—爬虫之Network，XHR，json 带参数请求数据（爬取歌单、歌词）
Python-爬虫之Network,XHR,json & 带参数请求数据(爬取歌单.歌词) Network是什么,能做什么 XHR要如何请求 json格式的转换带参数请求数据修改请求头,便 ...
python伪装浏览器https_Selenium中通过修改User-Agent标识将PhantomJS伪装成Chrome浏览器...
Python爬虫.GUI开发.渗透测试.机器学习,尽在http://zmister.com/ 在写爬虫的过程中,出于系统环境或是效率的问题,我们经常使用PhantomJS作为Selenium操纵的浏览 ...

python批量请求url_使用Python Requests伪装成浏览器请求百度360获取关键词批量排名...

python批量请求url_使用Python Requests伪装成浏览器请求百度360获取关键词批量排名...相关推荐

最新文章

热门文章