python3.3 urllib.error.HTTPError: HTTP Error 403: Forbidden

该错误是因为网站禁止爬虫，可以在请求加上模拟的头信息，伪装成浏览器访问.

myurl = ""
myheaders = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
req = urllib.request.Request(url=myurl,headers = myheaders)
data = urllib.request.urlopen(req).read()

或者

req = urllib.request.Request(myurl)
req.add_header('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.76 Safari/537.36')
data = urllib.request.urlopen(req).read()

headers是参数不是很懂,回头在研究一下.

转载于:https://blog.51cto.com/smilence/1345741

python3.3 urllib.error.HTTPError: HTTP Error 403: Forbidden相关推荐

downloading Olivetti faces from urllib.error.HTTPError: HTTP Error 403: Forbidden
最近在学Tensorflow和Sklearn,一个原因是想搞机器视觉,另外一个原因是想探索深入了解一下AI等等方面的知识,例如神经网络等等. 遇到的第一个问题是有些包用不了,一个可能是因为墙墙,另外一 ...
urllib.error.HTTPError: HTTP Error 403: Forbidden
问题: urllib.request.urlopen() 方法经常会被用来打开一个网页的源代码,然后会去分析这个页面源代码,但是对于有的网站使用这种方法时会抛出"HTTP Error 403 ...
成功解决urllib.error.HTTPError: HTTP Error 403: Forbidden
成功解决urllib.error.HTTPError: HTTP Error 403: Forbidden 目录解决问题解决思路解决方法解决问题 urllib.error.HTTPError: ...
Python爬虫HTTP异常：rllib.error.HTTPError: HTTP Error 418，伪装User-Agent以及fake-useragent插件的妙用
前言刚开始学习 Python 的时候,一般都会遇到这个问题,因为我们只是简单的想要打开一个 url 爬取返回的 Html,没有考虑太多,却没有想到会被浏览器的反爬虫手段识别出来,最终请求什么也没获取 ...
【blackduck】 Request failed authorization [HTTP Error]: XXX, response was 403 Forbidden.
问题: 15:03:23 2022-02-14 15:03:23 CST ERROR [main] --- Failed to upload code location: xxx/bom 15:03: ...
Python爬虫的urllib.error.HTTPError: HTTP Error 418错误
在家办公无聊,最近开始研究了下Python,刚了解了下爬虫,想自己尝试下,一上来就来了一个418的错误. from urllib.request import urlopenurl = 'https: ...
jonathonf/python-3.6/ubuntu xenial/main amd64 Packages 403 Forbidden 解决
mark一下 (https://askubuntu.com/questions/1195654/unable-to-locate-package-apt-pkg) since @jonathonf r ...
python之python3.x版本用urllib爬虫出现的module 'urllib' has no attribute 'urlopen'与urllib.error.HTTPError: HTT
研究pycharm编辑器用Python 3.x的urllib爬一个网页代码如下: 运行报错如下: 在网上查资料可知,Python3.x与Python2.7的差别是urlopen()方法放置模块不同,p ...
Python HTTP Error 403: Forbidden
问题: 执行下面的语句时 1 def set_IPlsit(): 2 url = 'https://www.whatismyip.com/' 3 response = urllib.request.u ...

python3.3 urllib.error.HTTPError: HTTP Error 403: Forbidden

python3.3 urllib.error.HTTPError: HTTP Error 403: Forbidden相关推荐

最新文章

热门文章