当爬虫遇到了403，有可能的原因主要有：

1. 你的User-Agent暴露了你，解决方案，增加header

import requests
import cfscrape
from urllib import request
from urllib import parse
from http.cookiejar import CookieJarheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36"
}target_url = "www.baidu.com"
resp = requests.get(target_url, headers=headers)
print(resp)
print(resp.status_code)
print(resp.text)

关于如何获取user-agent：

1. 自动获取：使用现成的库，https://github.com/hellysmile/fake-useragent

2.手动获取：打开你需要爬虫的网页，右键检查，刷新网页，network下随便点一个，在request headers中获取

2.你的爬虫太频繁了，ip被封了，使用代理ip

import requests
import cfscrape
from urllib import request
from urllib import parse
from http.cookiejar import CookieJartarget_url = "www.baidu.com"
proxyMeta = "http://host:port"
proxies = {"http": proxyMeta,"https": proxyMeta
}
resp = requests.get(target_url, proxies=proxies)
print(resp)
print(resp.status_code)
print(resp.text)

代理ip你可以买，当然也可以用一些免费的，参考：

GitHub - constverum/ProxyBroker: Proxy [Finder | Checker | Server]. HTTP(S) & SOCKS

3. 跳过cloudflare 验证

如果你把resp.text 的内容，用浏览器打开之后，显示了这个Please stand by, while we are checking your browser.就需要用这中方法解决

#pip install cloudscraper
import cloudscraper
scraper = cloudscraper.create_scraper()
ret = scraper.get(target_url)
print(ret)
print(ret.status_code)

reference : GitHub - VeNoMouS/cloudscraper: A Python module to bypass Cloudflare's anti-bot page. GitHub - VeNoMouS/cloudscraper: A Python module to bypass Cloudflare's anti-bot page.

爬虫 403 增加header和代理ip也没用？有可能是cloudflare在搞事情相关推荐

python爬虫教程：爬虫时如何知道是否代理ip伪装成功
python爬虫教程:爬虫时如何知道是否代理ip伪装成功有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的 ...
Python爬虫热点项目之实现代理IP池（IP proxy pool）
代理池概述代理池就是由多个稳定可用代理IP组成的池子.用来应对ip反爬,而网上的免费代理稳定可用的极少,更有甚者连收费的也不都是稳定可用. 开发环境: windous,python3,sublime ...
使用爬虫刷blog访问量随机代理IP 随机user_agent
好羞耻地写下这篇博客,不过大家一看博主这可怜的访问量,就知道博主十足好孩子!!!呵呵,莫道石人一只眼,挑动黄河天下反首先了解一下常见反爬虫的检测方法频率监测:有些网站会设置一种频率监测的机制,对于 ...
python爬虫浏览器伪装和设置代理ip
1.python爬虫浏览器伪装 #导入urllib.request模块 import urllib.request#设置请求头 headers=("User-Agent",&quo ...
Python3网络爬虫使用User Agent和代理IP隐藏身份
运行平台:Windows Python版本:Python3.x IDE:PyCharm3.6 转载自:http://blog.csdn.net/c406495762/article/details ...
爬虫用户要如何选择代理ip提供商?
做爬虫的都绕不过去IP代理这一条槛,免费的ip代理.付费的.自己扫的.应有尽有,尤其是趟过付费IP代理这趟浑水的,会发现市面上的ip代理鱼龙混杂,普遍存在以下问题: 1.ip池夸大,吹嘘自己有几百万的 ...
Python爬虫：爬取免费代理ip
之前写的几个爬虫都只能爬取到少量的信息,这是由于一个ip频繁地访问网站,会被认定为非正常的爬虫从而被屏蔽,这时候就需要使用代理ip来访问网站了,具体方法就是在发送request时添加一个proxy参数 ...
【爬虫学习6】爬虫自动获取并使用代理ip
当同一ip短时间内多次链接同一网站,很可能导致ip被封,所以需要利用代理ip防止封禁. 代理ip可以通过百度很容易的获取比如西刺代理但是,很明显我们用爬虫的人,不是会一个个自己复制粘贴的人,所以 ...
python反爬虫应对措施之搭建代理IP池
通过网络访问服务器时,服务器端会通过IP地址知道是谁来对其进行访问,我们在爬虫过程中,如果经常使用一个IP地址对同一个URL进行访问,此IP很有可能被服务器拉入黑名单,就访问不了此URL了,这是针对具 ...

爬虫 403 增加header和代理ip也没用？有可能是cloudflare在搞事情

1. 你的User-Agent暴露了你，解决方案，增加header

关于如何获取user-agent：

2.你的爬虫太频繁了，ip被封了，使用代理ip

3. 跳过cloudflare 验证

爬虫 403 增加header和代理ip也没用？有可能是cloudflare在搞事情相关推荐

最新文章

热门文章