开发环境

Python 3.8
Pycharm

模块使用

requests >>> pip install requests
parsel >>> pip install parsel

代理ip结构

proxies_dict = {"http": "http://" + ip:端口,"https": "http://" + ip:端口,
}

代码实现步骤:

1. 导入模块

# 导入数据请求模块
import requests  # 数据请求模块 第三方模块 pip install requests
# 导入 正则表达式模块
import re  # 内置模块
# 导入数据解析模块
import parsel  # 数据解析模块 第三方模块 pip install parsel  >>> 这个是scrapy框架核心组件

2. 发送请求, 对于目标网址发送请求 https://www.kuaidaili.com/free/

url = f'https://www.kuaidaili.com/free/inha/{page}/'  # 确定请求url地址
# 用requests模块里面get 方法 对于url地址发送请求, 最后用response变量接收返回数据
response = requests.get(url)

3. 获取数据, 获取服务器返回响应数据(网页源代码)

print(response.text)

4. 解析数据, 提取我们想要的数据内容

解析数据方式方法：

正则: 可以直接提取字符串数据内容
xpath: 根据标签节点提取数据内容
css选择器: 根据标签属性提取数据内容

哪一种方面用那种, 那是喜欢用那种

正则表达式提取数据内容

正则提取数据 re.findall() 调用模块里面的方法
正则遇事不决 .*? 可以匹配任意字符(除了换行符\n以外) re.S

ip_list = re.findall('<td data-title="IP">(.*?)</td>', response.text, re.S)
port_list = re.findall('<td data-title="PORT">(.*?)</td>', response.text, re.S)
print(ip_list)
print(port_list)

css选择器:

css选择器提取数据需要把获取下来html字符串数据(response.text) 进行转换

# #list > table > tbody > tr > td:nth-child(1)
# //*[@id="list"]/table/tbody/tr/td[1]
selector = parsel.Selector(response.text) # 把html 字符串数据转成 selector 对象
ip_list = selector.css('#list tbody tr td:nth-child(1)::text').getall()
port_list = selector.css('#list tbody tr td:nth-child(2)::text').getall()
print(ip_list)
print(port_list)

xpath 提取数据

selector = parsel.Selector(response.text) # 把html 字符串数据转成 selector 对象
ip_list = selector.xpath('//*[@id="list"]/table/tbody/tr/td[1]/text()').getall()
port_list = selector.xpath('//*[@id="list"]/table/tbody/tr/td[2]/text()').getall()

提取ip

for ip, port in zip(ip_list, port_list):# print(ip, port)proxy = ip + ':' + portproxies_dict = {"http": "http://" + proxy,"https": "http://" + proxy,}print(proxies_dict)

5. 检测ip质量

try:response = requests.get(url=url, proxies=proxies_dict, timeout=1)if response.status_code == 200:print('当前代理IP: ', proxies_dict,  '可以使用')lis_1.append(proxies_dict)
except:print('当前代理IP: ', proxies_dict,  '请求超时, 检测不合格')print('获取的代理IP数量: ', len(lis))
print('获取可用的IP代理数量: ', len(lis_1))
print('获取可用的IP代理: ', lis_1)

总共爬取了150个，最后测试出只有一个是能用的，所以还是付费的好

Python采集网站ip代理, 检测IP代理是否可用，构建自己的ip代理池相关推荐

python测试网站功能_Python检测网站链接是否已存在
Python是一种解释型.面向对象.动态数据类型的高级程序设计语言. Python由Guido van Rossum于1989年底发明,第一个公开发行版发行于1991年. 像Perl语言一样, Pyt ...
使用BurpSuite进行APP抓包如何绕过代理检测
文章目录使用BurpSuite进行APP抓包如何绕过代理检测场景描述如果绕过呢? 总结与思考使用BurpSuite进行APP抓包如何绕过代理检测场景描述最近接手到一个项目,对某客户的ios ...
python采集小说网站完整教程（附完整代码）
python 采集网站数据,本教程用的是scrapy蜘蛛 1.安装Scrapy框架命令行执行: pip install scrapy 安装的scrapy依赖包和原先你安装的其他python包有冲突话 ...
python采集代理ip_Python采集代理ip并判断是否可用和定时更新的方法
网上有很多免费的ip地址,都是可以使用的,但是如果手动来获取太麻烦,这里通过Python自动抓取,可以批量获取. 代码如下: # -*- coding: utf-8 -*- import re imp ...
代理ip最新识别方法及代理ip有效性检测方法
代理ip最新识别方法以及代理ip有效性检测方法一.代理ip常见的一些功能 1.突破自身ip访问限制,现在有许多的网站都对ip地址访问进行了限制,这时则可以通过代理ip来突破限制,让自己进入网站. 2 ...
python利用proxybroker构建爬虫免费IP代理池！不用担心被封了！
大纲前言 ProxyBroker简介 ProxyBroker安装在终端使用ProxyBroker 在代码中使用ProxyBroker 总结前言写爬虫的小伙伴可能遇到过这种情况: 正当悠闲地喝着 ...
Android开发中虚拟位置定位、应用双开、IP代理检测
Android开发中虚拟位置定位.应用双开.IP代理检测 1.虚拟位置定位.应用双开原理目前市面上的多开App的原理类似,都是以新进程运行被多开的App,并hook各类系统函数,使被多开的App认为 ...
如何构建自己的IP代理池
在学习爬虫的过程中,肯定遇到过被封IP的问题,这个时候我们就需要去用代理来帮我们完成爬取任务,然而,爬着爬着又被封了,好,再换一个代理,一会过后又封了.这种情况有两种方法来解决方法一:对我们的爬虫进 ...
代理IP对直播平台的影响与关系-国内多IP昙花一现
1.代理IP的作用 1>.访问一些单位或团体内部资源,如某大学FTP(前提是该代理地址在该资源的允许访问范围之内),使用网络内地址段免费代理服务器,就可以用于对网络开放的各类FTP下载上传, ...

Python采集网站ip代理, 检测IP代理是否可用，构建自己的ip代理池

开发环境

模块使用

代理ip结构

代码实现步骤:

1. 导入模块

2. 发送请求, 对于目标网址发送请求 https://www.kuaidaili.com/free/

3. 获取数据, 获取服务器返回响应数据(网页源代码)

4. 解析数据, 提取我们想要的数据内容

正则表达式提取数据内容

css选择器:

xpath 提取数据

提取ip

5. 检测ip质量

总共爬取了150个，最后测试出只有一个是能用的，所以还是付费的好

Python采集网站ip代理, 检测IP代理是否可用，构建自己的ip代理池相关推荐

最新文章

热门文章