教你创建一个免费的代理IP池(txt存储版本)
教你创建一个免费的代理IP池(txt存储版本)
很多人可能会为爬虫被ban,IP被封等反爬机制苦恼,接下来我就教给大家如何白嫖做一个代理IP池。
准备工作
首先是准备工作,因为是第一个版本,因此我打算先用txt存储爬取到的ip,下面是用到的一些变量。
# UA池
user_agents = ['Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60','Opera/8.0 (Windows NT 5.1; U; en)','Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50','Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50','Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0','Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2 ','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36','Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11','Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36','Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER','Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)','Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0','Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0) ',]# 写入所有代理
proxyList = open('proxy.txt')
# 写入可用代理ip
validList= open('valid.txt')# 控制线程
lock = threading.Lock()
获取所有代理IP地址
肯定免费代理IP有很多是不能用的,但是我们依然需要获取到所有的代理IP,再做下一步的筛选。
本次作者选择了云代理,快代理,98代理三个网站的免费代理IP,进行了爬取,代码见下:
def getProxy():starttime = time.time()# 爬取云代理ip# http://www.ip3366.net/freegetCloudProxy()# 爬取98代理# https: // www.89ip.cn / index_10.htmlget89Proxy()# 爬取快代理# https://www.kuaidaili.com/free/inha/1/# https://www.kuaidaili.com/free/intr/1/getQuickProxy()endtime = time.time()print(f"爬取代理花费{endtime-starttime}s")def getCloudProxy():print("爬取云代理IP中--------")num = 0import time# 打开我们创建的txt文件proxyFile = open('proxy.txt', 'a')for page in range(1, 8):for stype in range(1, 3):time.sleep(random.randint(1, 3))print(f"正在抓取{stype}的第{page}页数据")# 数据地址url = f'http://www.ip3366.net/free/?stype={stype}&page={page}'# 设置随机请求头headers = {'User-Agent': random.choice(user_agents)}# 发送请求response = requests.get(url=url, headers=headers)# 自适应编码response.encoding = response.apparent_encodinghtml_data = response.text# 解析数据selector = parsel.Selector(html_data)trs = selector.xpath('//table/tbody/tr')for tr in trs:ip = tr.xpath('./td[1]/text()').get() # ipport = tr.xpath('./td[2]/text()').get() # 端口protocol = tr.xpath('./td[4]/text()').get() # 协议# 将获取到的数据按照规定格式写入txt文本中1proxyFile.write('%s|%s|%s\n' % (ip, port, protocol))num += 1print(f"爬取云代理IP{num}条")def getQuickProxy():print("爬取快代理中------")num = 0import time# 打开我们创建的txt文件proxyFile = open('proxy.txt', 'a')for page in range(1, 3):for type in ['inha', 'intr']:time.sleep(random.randint(1, 3))print(f"正在抓取类型{type}第{page}页数据")# 数据地址url = f'https://www.kuaidaili.com/free/{type}/{page}/'# 设置随机请求头headers = {'User-Agent': random.choice(user_agents)}# 发送请求response = requests.get(url=url, headers=headers)# 自适应编码response.encoding = response.apparent_encodinghtml_data = response.text# 解析数据selector = parsel.Selector(html_data)trs = selector.xpath('//table/tbody/tr')for tr in trs:ip = tr.xpath('./td[1]/text()').get().strip() # ipport = tr.xpath('./td[2]/text()').get().strip() # 端口protocol = tr.xpath('./td[4]/text()').get().strip() #协议# 将获取到的数据按照规定格式写入txt文本中1proxyFile.write('%s|%s|%s\n' % (ip, port, protocol))num += 1print(f"爬取快代理IP{num}条")def get89Proxy():print("爬取89代理IP中--------")num = 0import time# 打开我们创建的txt文件proxyFile = open('proxy.txt', 'a')for page in range(1, 156):time.sleep(random.randint(1, 3))print(f"正在抓取第{page}页数据")# 数据地址url = f'https://www.89ip.cn/index_{page}.html'# 设置随机请求头headers = {'User-Agent': random.choice(user_agents)}# 发送请求response = requests.get(url=url, headers=headers)# 自适应编码response.encoding = response.apparent_encodinghtml_data = response.text# 解析数据selector = parsel.Selector(html_data)trs = selector.xpath('//table/tbody/tr')for tr in trs:ip = tr.xpath('./td[1]/text()').get().strip() # ipport = tr.xpath('./td[2]/text()').get().strip() # 端口protocol = 'HTTP' # 默认协议HTTP# 将获取到的数据按照规定格式写入txt文本中1proxyFile.write('%s|%s|%s\n' % (ip, port, protocol))num += 1print(f"爬取89代理IP{num}条")
验证ip有效性
对于获得的所有免费代理IP,对他们进行验证,方法就是使用requests对百度网站进行访问,如何得到的返回码code为200,说明访问成功,即为可用有效IP,代码见下:
def verifyProxyList():'''验证ip有效性并存入valid.txt:return:'''valid = open('valid.txt', 'a')while True:lock.acquire()# 读取存放ip的文件ipinfo = proxyList.readline().strip()lock.release()# 读到最后一行if len(ipinfo) == 0:breakline = ipinfo.strip().split('|')ip = line[0]port = line[1]realip = ip + ':' + port# print(realip)# 得到验证码code = verifyProxy(realip)# 验证通过if code == 200:lock.acquire()print("---Success:" + ip + ":" + port)valid.write(ipinfo + "\n")lock.release()else:pass# print("---Failure:" + ip + ":" + port)
def verifyProxy(ip):'''验证代理的有效性'''# 设置随机请求头headers = {'User-Agent': random.choice(user_agents)}url = "http://www.baidu.com"# 填写代理地址proxy = {'http': ip}try:code = requests.get(url=url, proxies=proxy, timeout=2, headers = headers).status_codeprint(code)return codeexcept Exception as e:return e
测试有效IP
最后当然是测试板块啦,使用我们的有效代理IP池对目标网站进行访问,得到网站的内容,但是免费代理IP时效很短,需要控制好获取IP和使用IP的时间间隔,代码见下:
def useProxy():lock.acquire()ips = []# 获取可用ip池# 获取IP列表valid = open('/Users/shangyuhu/PycharmProjects/recruitProject/ProxyIP/valid.txt')while True:# 读取存放ip的文件ipinfo = valid.readline().strip()# 读到最后一行if len(ipinfo) == 0:breakline = ipinfo.strip().split('|')ip = line[0]port = line[1]realip = ip + ':' + portips.append(realip)print(ips)# 要抓取的目标网站地址targetUrl = "https://news.qq.com/"for i in range(10):# 随机使用ip爬虫proxyip = random.choice(ips)# print(proxyip)try:response = requests.get(url=targetUrl, proxies={"http": proxyip, "https": proxyip},verify=False, timeout=15)except Exception as e:continue# 自适应编码response.encoding = response.apparent_encodinghtml_data = response.textprint(html_data)# 用完了lock.release()
函数调用
if __name__ == '__main__':# 清空代理列表和有效代理列表proxy = open('proxy.txt', 'w')proxy.write("")proxy.close()valid = open('valid.txt', 'w')valid.write("")valid.close()# 获取代理IPgetProxy()starttime = time.time()# 验证ip有效性all_thread = []for i in range(30):t = threading.Thread(target=verifyProxyList)all_thread.append(t)t.start()for t in all_thread:t.join()endtime = time.time()print(f"验证代理IP花费时间{endtime-starttime}s")useProxy()proxy.close()valid.close()
总结
1.白嫖的肯定不如花钱的,使用效果肯定没有花钱来的舒服。
2.可以使用缓存或者数据库进行存储
3.线程的调用需要控制好
全部代码
全部代码
教你创建一个免费的代理IP池(txt存储版本)相关推荐
- 自建免费的代理ip池
写在前面 因为爬虫被禁ip这样的反扒真的很凶,但自从建了一个代理ip池以后,反反扒就可以跟的上节奏.当然你也可以上网上各种代理平台自己付费.这些平台当然很方便提供api调用,还不用自己验证.但你不想付 ...
- 免费搭建一个自己的代理ip池
之前教给大家怎样爬取彼岸网美女图片,不知道有多少小伙伴没有忍住多爬了几张图片导致自己的ip被封呢 这里教大家怎样搭建ip池,妈妈再也不我的ip被封了 首先有请今天的受害对象 快代理:http://ww ...
- python建立ip代理池_Python搭建代理IP池实现存储IP的方法
上一文写了如何从代理服务网站提取 IP,本文就讲解如何存储 IP,毕竟代理池还是要有一定量的 IP 数量才行.存储的方式有很多,直接一点的可以放在一个文本文件中,但操作起来不太灵活,而我选择的是 My ...
- Python3网络爬虫(十一):爬虫黑科技之让你的爬虫程序更像人类用户的行为(代理IP池等)
转载请注明作者和出处:http://blog.csdn.net/c406495762 运行平台: Windows Python版本: Python3.x IDE: Sublime text3 前言 黑 ...
- 使用python多线程获取代理IP(代理IP池,附源码)
@[TOC]使用python多线程获取代理IP(代理IP池,附源码) 代理IP池 都说现在是大数据的时代,大多数的厂商会特别的注重自己家的数据安全问题,但同时,也有着许多的行业是需要大数据来做支撑的, ...
- 构建一个给爬虫使用的代理IP池
做网络爬虫时,一般对代理IP的需求量比较大.因为在爬取网站信息的过程中,很多网站做了反爬虫策略,可能会对每个IP做频次控制.这样我们在爬取网站时就需要很多代理IP. 代理IP的获取,可以从以下几个途径 ...
- python:从零开始教你建立爬虫代理ip池
一.为什么需要建立爬虫代理ip池 在众多的网站防爬措施中,有一种是根据ip的访问频率进行限制的,在某段时间内,当某个ip的访问量达到一定的阀值时,该ip会被拉黑.在一段时间内被禁止访问.这种时候,可以 ...
- [爬虫架构] 如何在分布式爬虫架构中动态维护一个代理IP池(付费代理)
前言: 当分布式爬虫使用代理IP技术时,通过直接在爬虫程序中添加平台api接口的方式已经不能满足我们了,因为分布式的爬虫架构每秒的代理IP-URL的请求数会远远大于平台限制的请求频率,当然,对于没有限 ...
- 干货分享,使用python爬虫构建免费代理IP池
在使用python爬虫的时候,经常会遇见所要爬取的网站采取了反爬取技术,高强度.高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就很可能被封,那如何解决呢?使用代 ...
最新文章
- linux redis 删除_Redis-安装amp;删除【Linux 版】
- Linux学习之Vim编辑器
- %matplotlib inline 的作用
- css调用方式的方法
- 微信小程序提示框提示
- [2021-07-19 内测NOIP] 操作(状压DP),异或(字典树),等级(线段树),矩阵(DP)
- post和get两种提交方式的区别
- 搜索 —— 广度优先搜索(BFS)
- 鸿蒙系统手机现在有什么,华为鸿蒙手机迟迟未来 手机操作系统面临的难点有哪些...
- 极简代码(二)—— 转置 list of lists
- python人工智能文字识别_Python人工智能之图片识别,Python3一行代码实现图片文字识别...
- Ubuntu安装wechat的血泪史
- 苹果手机微信语音没声音怎么回事_【云喇叭】微信+支付宝收款语音播报音箱一体机,播报声音大,嘈杂环境也听得见,自带流量卡可连WiFi,无需蓝牙,手机不在店里也播报...
- SV学习(9)——随机函数、数组约束、随机控制
- 技术漫谈:反病毒技术的现状与未来
- 数字图像处理中实现放缩图像的各种内插法
- Vue获取当前路由地址以及当前页面的地址
- 达内2016前端开发知识点总结--HTML5--8天
- 黑鹰ASP.NET教程
- 【Golang】获取本地IP
热门文章
- win10 调整音量时左上角的内容框怎么关闭
- 小米2012新品发布会(小米手机2),8月16日
- LSTM模型预测时间序列性质的进件量---详细步骤以及例子
- 关于如何把C盘缓存转移到别的位置(VRchat)
- matlab绘制系统函数频率特性,7.6应用于离散系统的Matlab基本函数 7.7 求离散系统的时域响应 频率特性分析...
- 服务器如何禁止访问指定网址,问: 怎么禁止别人的域名访问自己的服务器
- Win7注册表禁用USB接口、Win7组策略禁用USB端口
- 使用selenium将网页保存网页截图,长截图,html文件,mhtml文件
- adb wifi 调试方法(命令行方式)
- Oracle错误04043原因,oracle常见错误代码说明备忘