过cloudflare，使用cfscrape，以及cfscrape挂代理的方式

一个简单的python模块，可以绕过cloudflare的反bot页面（也称为"我处于攻击模式"或iuam），它通过请求实现。支持Python2.6-3.7版本。

PS:下面所有运行环境都是在外网的服务器上

只需运行
pip install cfscrape。
您可以使用
pip install-u cfscrap进行升级。
pypi包位于 https://pypi.python.org/pypi/cfscrape/
github https://github.com/Anorov/cloudflare-scrape

#基础访问类型
import cfscrape
from parsel import Selector
import requests
session = cfscrape.create_scraper(delay=10)
response = session.get(url)

下面是挂代理的方式，代理需要在可访问外网的服务器上才可以进行，并且需要将服务器加入白名单。

注册个人或者公司认证后有测试量，可以进行免费测试
注册地址，打开注册

import cfscrape
from parsel import Selector
import requestsresponse = requests.get("http://tiqu.linksocket.com:81/abroad?num=1&type=2&lb=1&sb=0&flow=1&regions=&port=1&n=0")
ip = response.json()["data"][0]["ip"]
port = response.json()["data"][0]["port"]ip = "{}:{}".format(ip, port)
proxies = {"http": "http://{}".format(ip),"https": "https://{}".format(ip),
}ttt = requests.get("http://myip.top", proxies=proxies)
print(ttt.text)ssss = cfscrape.create_scraper(delay=10)
cookies,user_agent= ssss.get_cookie_string("https://apkpure.com/", proxies=proxies, allow_redirects=True)response = ssss.get("https://apkpure.com/cn/search?q=com.facebook.katana",proxies=proxies)
# # print(web_data)
if "开发者" in response.text:print("访问成功")down_html = Selector(text=response.text)info_url_list = down_html.css("div#search-res dd")for down_html in info_url_list:apk_name = down_html.css("p.search-title>a::text").extract_first()print(apk_name)print("=============")
else:print(response.text)print("访问失败")

如果能对你有帮助，是我的荣幸。谢谢。

过cloudflare，使用cfscrape，以及cfscrape挂代理的方式相关推荐

sqlmap的两种挂代理方式
文章目录前言一.第一种方式直接挂代理二.第二种方式间接挂代理前言为什么要挂代理呢: sqlmap原理和暴力破解类似如果速度过快则会很容易被封ip,所以挂代理是避免这种情况的发生,即使发生也可 ...
虚拟机安装Ubuntu后的问题（不能全屏、不能上网；换源挂代理；安装搜狗输入法；pycharm的sudo模式启动快捷方式）
本文主要包括:1.VMware中安装的Ubuntu无法全屏显示.2.Ubuntu不能上网.3.Ubuntu挂代理换源.4.anaconda的conda挂代理换源.5.pip换源挂代理.6.安装搜狗输入 ...
idm插件自动更新，解决一挂代理就会更新问题！
由于一挂代理,在谷歌浏览器中,idm插件就会自动更新,导致idm无法下载,显示"idm0x00000001 版本不匹配" 接下来是"解决方法 ":原理是在谷歌浏 ...
在C#中使用代理的方式触发事件 (委托和事件 ) （转）
From: http://www.cnblogs.com/gzhnan/articles/1859477.html 在C#中使用代理的方式触发事件 (委托和事件 ) 事件(event)是一个非常重要 ...
若依前后端分离版本，Windows下使用Nginx代理的方式进行部署(全流程，图文教程)
场景若依官网: http://doc.ruoyi.vip/ 前提: 服务器上安装Mysql,并将数据库导入,在SpringBoot中的application-druid.yml配置mysql数据库连 ...
开发者边车，命名取自service-mesh的service-sidecar，意为为开发者打辅助的边车工具通过本地代理的方式将https请求代理到一些国内的加速通道上
开发者边车,命名取自service-mesh的service-sidecar,意为为开发者打辅助的边车工具通过本地代理的方式将https请求代理到一些国内的加速通道上加速你的github http ...
挂代理无法访问网页了怎么办_搜索引擎蜘蛛不能爬取网页的原因有哪些
我们在进行网站seo优化过程中进行seo诊断时,有时候会发现这样一个问题,有些网站优质内容,用户可以正常的访问,但是搜索引擎蜘蛛却无法访问,并无法进行抓取.如果网站中存在着很多这种情况,就有可能被搜索 ...
挂代理无法访问网页了怎么办_微信H5网页授权
1 第一步:用户同意授权,获取code2 第二步:通过code换取网页授权access_token3 第三步:拉取用户信息(需scope为 snsapi_userinfo)SpringBoot:2.1 ...
在C#中使用代理的方式触发事件
事件(event)是一个非常重要的概念,我们的程序时刻都在触发和接收着各种事件:鼠标点击事件,键盘事件,以及处理操作系统的各种事件.所谓事件就是由某个对象发出的消息.比如用户按下了某个按钮,某个文件发 ...
在C#中使用代理的方式触发事件的简单习作
程序简单就不再作说明了. 在学习IssueVision的OBSERVER(观察者)模式时由于对代理和事件不是很熟悉,遇到了一些问题,所以就有了这个简单习作. TestEvent.cs using S ...

过cloudflare，使用cfscrape，以及cfscrape挂代理的方式

过cloudflare，使用cfscrape，以及cfscrape挂代理的方式相关推荐

最新文章

热门文章