python爬虫2.0.5ProxyIpPool---proxies使用代理IP

代理IP定义：代替你原来的IP地址去对接网络的IP地址
作用：隐藏自身真是IP，避免被目标网站封掉。代理IP分类：
高匿代理：web端只能看到代理IP
普通代理：web端知道有人通过此代理IP访问，但不知道用户真是IP
透明代理：web端能看到用户真实IP，也能看到代理IP应用场景：
针对高频率访问的IP地址进行了反爬机制，封掉IP地址的网站代理IP地址：自行百度代理IP

语法格式

        proxies = {'http': 'http://IP:端口号','https': 'http://IP:端口号'}res = requests.get(url=self.test_url, proxies=proxies, headers=self.headers, timeout=2)

示例

#!/usr/bin/python3
# -*- coding: utf-8 -*-
"""
@FileName: ProxyIpPool.py
@Time    : 2022/3/14 8:53
@Author  : 热气球
@Software: PyCharm
@Version : 1.0
@Contact : 17695691664@163.com
@Des     : 抓取飞度代理的免费高匿代理并测试可用性
"""import requests
import re
from fake_useragent import UserAgentclass ProxyPool:def __init__(self):self.proxy_url = 'http://www.feidudaili.com/index/gratis/index?page={}'self.test_url = 'https://www.baidu.com/'self.headers = {'User-Agent': UserAgent().random}self.ip_list = []def get_proxy_pool(self, url):try:html = requests.get(url=url, headers=self.headers, timeout=3).textself.parse_html(html=html)except Exception as e:print('页面响应超时，重试中。。。。。。')def parse_html(self, html):regex = '<tr>.*?<td>(.*?)</td>.*?<td>(.*?)</td>.*?<td>.*?</td>.*?</td>.*?</tr>'pattern = re.compile(regex, re.S)r_list = pattern.findall(html)try:for li in r_list:host = li[0]port = li[1]ipaddress = host + ':' + portself.test_proxy(proxy=ipaddress)except IndexError as e:print(e)def test_proxy(self, proxy):""" 测试一个代理IP地址是否可用 """proxies = {'http': 'http://{}'.format(proxy),'https': 'http://{}'.format(proxy)}try:res = requests.get(url=self.test_url, proxies=proxies, headers=self.headers, timeout=2)if res.status_code == 200:print(proxy, '\033[32m可用\033[0m')html = requests.get(url='http://httpbin.org/get', headers=self.headers, proxies=proxies, timeout=3).textprint('html:', html)self.ip_list.append(proxy)except Exception as e:print(proxy, '\033[31m不可用\033[0m')def run(self):for pg in range(1, 4504):url = self.proxy_url.format(pg)self.get_proxy_pool(url=url)if __name__ == '__main__':spider = ProxyPool()spider.run()print('可用的代理列表为：', spider.ip_list)

效果展示

python爬虫2.0.5ProxyIpPool---proxies使用代理IP相关推荐

Python爬虫方式抓取免费http代理IP
我们新手在练手的时候,常常需要一些代理IP进行爬虫抓取,但是因为学习阶段,对IP质量要求不高,主要是弄懂原理,所以花钱购买爬虫代理IP就显得没必要(大款忽略),今天跟大家分享一下,如果使用爬虫抓取免费 ...
【python爬虫】在scrapy中利用代理IP（爬取BOSS直聘网）
同学们好,我又滚回来更新了,这一次我们要爬取的目标是BOSS直聘,BOSS直聘可以说是反爬虫一个很好的例子了,主要在于如果你访问他的次数过多,他就会出现验证码,要求你通过验证才能继续看,这样还算可以, ...
（python爬虫时）如何知道是否代理ip伪装成功
通过请求 http://httpbin.org/get 获得类似以下信息: {"args": {}, "headers": {"Accept&q ...
关于python爬虫（requests）设置http代理的源码demo
科技不断发展,网络给我们带来了便利,但有时候也会遇到问题,当我们在网络中畅游时,很可能遇到IP受限导致的访问不了这种事情,这个时候我们就需要使用到http代理IP. 那么如何判断自己遇到的是访问受限呢 ...
python爬虫隐藏ip_Python3网络爬虫之使用User Agent和代理IP隐藏身份
本文介绍了Python3网络爬虫之使用User Agent和代理IP隐藏身份,分享给大家,具体如下: 运行平台:Windows Python版本:Python3.x IDE:Sublime text3 ...
Python爬虫：爬取西刺代理数据，讲解处理反爬措施（上篇）
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理本文章来自腾讯云作者:Python进阶者想要学习Python?有问题得不到第一 ...
python爬虫热点代理_Python爬虫实战——反爬策略之代理IP【无忧代理】
一般情况下,我并不建议使用自己的IP来爬取网站,而是会使用代理IP. 原因很简单:爬虫一般都有很高的访问频率,当服务器监测到某个IP以过高的访问频率在进行访问,它便会认为这个IP是一只"爬虫 ...
爬虫笔记7：requests设置代理IP
一.为什么要设置代理IP 爬虫爬取网站时,如果被对方识别是爬虫,就很可能被封号(即不能访问该网站). 二.怎么获取IP 1.通过网站:https://www.ipip.net/(获取外网IP) 2.通 ...
老鱼Python数据分析——篇二：系统设计(找代理IP)
开发环境:win7 x64版本,python 3.6,Anaconda3 (64-bit) 因为频繁访问容易被封IP,所以我们需要使用代理来进行数据的爬取(当然你也可以放慢节奏,比如每5秒爬一条记录) ...

python爬虫2.0.5ProxyIpPool---proxies使用代理IP

python爬虫2.0.5ProxyIpPool---proxies使用代理IP相关推荐

最新文章

热门文章