构建请求header fake_useragent安装以及解决方法

问题

如果服务器端拒绝非浏览器访问，如何处理？

表现形式

问题原因

出现这样的情况原因就是，服务器知道我们这是一个爬虫直接给禁止了，我们可以在网站上输入http://httpbin.org/get
得到如下结果

这时我们在看我们的爬虫

from urllib import request
url = 'http://httpbin.org/get'
req = request.urlopen(url)
obj = req.read().decode('utf-8')
print(obj)

这里其他的我们不关注其他的，只关注User-Agent，一个是浏览器，一个是python，所以我们只需要将headers里的User-Agent改变一下就好了

解决方法（两种）

1，我们在浏览器上将User-Agent的内容复制下来，如下

from urllib import request
url = 'https://movie.douban.com/top250'
myhead = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36",
}
hd = request.Request(url,headers=myhead)
req = request.urlopen(hd)
req.read().decode('utf-8')

2，也可以fake_usergent，命令行下输入pip install fake_useragent，若是不能运行出现报错，可以输入pip install -U fake-useragent

from urllib import request
from fake_useragent import UserAgent
url = 'https://movie.douban.com/top250'
genua = UserAgent()
head = {'User-Agent':'genua.random'}
hd = request.Request(url,headers=head)
req = request.urlopen(hd)
req.read().decode('utf-8')

结果展示

构建请求header fake_useragent安装以及解决方法相关推荐

ajax请求时拒绝访问,ajax跨域请求js拒绝访问的解决方法
ajax跨域请求js拒绝访问的解决方法内容精选换一换可能原因kubelet服务没有运行或运行异常.kubelet服务没有运行或运行异常.解决方法可以通过systemctl status kube ...
anki 2.0 wordQuery 插件安装失败解决方法
anki 2.0 wordQuery 安装失败解决方法 anki 插件 wordQuery 非常实用,受到很多人推荐.但是我尝试安装后却报错: 一个插件发生了错误. 请把它报告在插件的论坛上: htt ...
unittest 出报告并配合 jenkins，发现有用例错误，但是构建没出现红点的解决方法
unittest 出报告并配合 jenkins,发现有用例错误,但是构建没出现红点的解决方法参考文章: (1)unittest 出报告并配合 jenkins,发现有用例错误,但是构建没出现红点 ...
npm i -g windows-build-tools安装出错解决方法
npm i -g windows-build-tools安装出错解决方法参考文章: (1)npm i -g windows-build-tools安装出错解决方法 (2)https://www.cn ...
axios请求GBK页面中文乱码解决方法
axios请求GBK页面中文乱码解决方法参考文章: (1)axios请求GBK页面中文乱码解决方法 (2)https://www.cnblogs.com/bjhl/articles/10514038 ...
VMware Tools按钮变灰色，无法安装的解决方法
VMware Tools按钮变灰色,无法安装的解决方法参考文章: (1)VMware Tools按钮变灰色,无法安装的解决方法 (2)https://www.cnblogs.com/osttwz/p ...
安装VMware,出现Microsoft Runtime DLL 安装程序未能完成安装，解决方法
安装VMware,出现Microsoft Runtime DLL 安装程序未能完成安装,解决方法参考文章: (1)安装VMware,出现Microsoft Runtime DLL 安装程序未能完成安 ...
HP QC IE11不支持（ win7 64位无法安装）解决方法
QC IE11不支持( win7 64位无法安装)解决方法使用HP公司的QC做项目缺陷管理,发现IE浏览器只支持IE7,IE8.安装插件ALP_Platform_Loader提示64位无法安装,顿 ...
猎魂觉醒显示无法连接战斗服务器,猎魂觉醒安装失败怎么办_猎魂觉醒安装失败解决方法_游戏吧...
猎魂觉醒是一款受到了很多顽疾喜爱的游戏,但是却有玩家在游戏吧安装时出现了安装失败的问题,想必大家都很想知道怎么解决吧?下面游戏吧小编就为大家带来了猎魂觉醒的安装失败解决方法. 安装失败解决方法一. ...
恋与制作人服务器错误,恋与制作人安装失败怎么办_恋与制作人安装失败解决方法_游戏吧...
恋与制作人是一款受到了很多玩家喜爱的游戏,游戏是奇迹暖暖原班人马打造的,但是却有玩家在安装时出现了安装失败的问题.下面游戏吧小编就为各位各位玩家带来了恋与制作人的安装失败解决方法. 安装失败解决方法 ...