Python3并发检验代理池地址

【用线程池并发检验代理有效性】

#encoding=utf-8

#author: walker

#date: 2016-04-14

#summary: 用线程池并发检验代理有效性

import os, sys, time

import requests

from concurrent import futures

cur_dir_fullpath = os.path.dirname(os.path.abspath(__file__))

Headers = {

'Accept': '*/*',

'User-Agent':

'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET4.0C; .NET4.0E)'

,

}

#检验单个代理的有效性

#如果有效，返回该proxy；否则，返回空字符串

def Check(desturl, proxy, feature):

proxies = {'http': 'http://' + proxy}

proxies = {

'http': proxy,

'https': proxy

}

r = None #声明

exMsg = None

try:

r = requests.get(url=desturl, headers=Headers, proxies=proxies, timeout=3)

except:

exMsg = '* ' + traceback.format_exc()

#print(exMsg)

finally:

if 'r' in locals() and r:

r.close()

if exMsg:

return ''

if r.status_code != 200:

return ''

if r.content.decode('utf8').find(feature) < 0:

return ''

return proxy

#输入代理列表(set/list)，返回有效代理列表

def GetValidProxyPool(rawProxyPool, desturl, feature):

validProxyList = list() #有效代理列表

pool = futures.ThreadPoolExecutor(8)

futureList = list()

for proxy in rawProxyPool:

futureList.append(pool.submit(Check, desturl, proxy, feature))

print('\n submit done, waiting for responses\n')

for future in futures.as_completed(futureList):

proxy = future.result()

print('proxy:' + proxy)

if proxy: #有效代理

validProxyList.append(proxy)

print('validProxyList size:' + str(len(validProxyList)))

return validProxyList

#获取原始代理池

def GetRawProxyPool():

rawProxyPool = set()

#通过某种方式获取原始代理池......

return rawProxyPool

if __name__ == "__main__":

rawProxyPool = GetRawProxyPool()

desturl = 'http://...' #需要通过代理访问的目标地址

feature = 'xxx' #目标网页的特征码

validProxyPool = GetValidProxyPool(rawProxyPool, desturl, feature)

【用协程并发检验代理有效性】

#encoding=utf-8

#author: walker

#date: 2017-03-28

#summary: 用协程并发检验代理有效性

#Python sys.version：3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)]

import os, sys, time

import requests

import aiohttp

import asyncio

import traceback

Headers = {

'Accept': '*/*',

'User-Agent':

'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET4.0C; .NET4.0E)'

,

}

#检验单个代理的有效性

#如果有效，返回该proxy；否则，返回空字符串

async def Check(desturl, proxy, feature):

proxy = 'http://' + proxy

#print('proxy:' + proxy)

exMsg = None

try:

async with aiohttp.ClientSession() as session:

async with session.get(desturl, headers=Headers, proxy=proxy, timeout=10) as resp:

#print(resp.status)

assert resp.status == 200

#print(await resp.text())

html = await resp.text(encoding='utf-8')

except:

exMsg = '* ' + traceback.format_exc()

#print(exMsg)

if exMsg:

return ''

if html.find(feature) < 0:

return ''

return proxy

#输入代理列表(set/list)，返回有效代理列表

async def GetValidProxyPool(rawProxyPool, desturl, feature):

print('GetValidProxyPool ...')

validProxyList = list() #有效代理列表

coroList = list()

for proxy in rawProxyPool:

coroList.append(asyncio.ensure_future((Check(desturl, proxy, feature))))

totalSleepTime = 0

for f in asyncio.as_completed(coroList):

proxy = await f

#print('rtn proxy:' + proxy)

if proxy:

validProxyList.append(proxy)

print('validProxyList size: %d' % len(validProxyList))

return validProxyList

#获取原始代理池

def GetRawProxyPool():

rawProxyPool = set()

#通过某种方式获取原始代理池......

return rawProxyPool

if __name__ == "__main__":

startTime = time.time()

rawProxyPool = GetRawProxyPool()

desturl = 'http://...' #需要通过代理访问的目标地址

feature = 'xxx' #目标网页的特征码

print('rawProxyPool size:%d' % len(rawProxyPool))

loop = asyncio.get_event_loop()

validProxyList = loop.run_until_complete(GetValidProxyPool(rawProxyPool, desturl, feature))

loop.close()

print('rawProxyPool size:%d' % len(validProxyList))

print('time cost:%.2fs' % (time.time()-startTime))

Python3并发检验代理池地址相关推荐

python代理池好难啊_新人不会自己搭建代理池?快来引用大佬的
新人不会自己搭建代理池?快来引用大佬的对于新人学习爬虫来说,虽然不会爬取太难的网站,但是有时候爬取的数据量过大的时候,也会遇到返回不了数据的问题,这时候打开网页一看.可能会看到"你的ip访 ...
python爬虫代理池_python爬虫之ProxyPool（代理ip地址池的构建）
ProxyPool 安装安装Python 至少Python3.5以上安装Redis 安装好之后将Redis服务开启配置代理池 cd proxypool 进入proxypool目录,修改setti ...
python爬虫之ProxyPool（代理ip地址池的构建）
ProxyPool 2020-7-28 安装安装Python 至少Python3.5以上安装Redis 安装好之后将Redis服务开启 Redis环境安装(分布式爬虫数据存储) https://b ...
Python3网络爬虫开发实战，IP代理池的维护
我们在上一节了解了代理的设置方法,利用代理我们可以解决目标网站封 IP 的问题,而在网上又有大量公开的免费代理,其中有一部分可以拿来使用,或者我们也可以购买付费的代理 IP,价格也不贵.但是不论是免费 ...
python通过ip池爬_python爬虫18 | 就算你被封了也能继续爬，使用IP代理池伪装你的IP地址，让IP飘一会...
我们上次说了伪装头部 ↓ 让自己的 python 爬虫假装是浏览器小帅b主要是想让你知道在爬取网站的时候要多的站在对方的角度想问题其实这和泡妞差不多你要多站在妹纸的角度思考她的兴趣是什么 ...
python爬虫免费代理池_【Python3爬虫】教你怎么利用免费代理搭建代理池
一.写在前面有时候你的爬虫刚开始的时候可以正常运行,能够正常的爬取数据,但是过了一会,却出现了一个"403 Forbidden",或者是"您的IP访问频率太高" ...
python3爬虫系列19之反爬随机 User-Agent 和 ip代理池的使用
python3爬虫系列19之随机User-Agent 和ip代理池的使用我们前面几篇讲了爬虫增速多进程,进程池的用法之类的,爬虫速度加快呢,也会带来一些坏事!!! 1. 前言比如随着我们爬虫的速度 ...
python爬虫ip代理池_爬虫教程-Python3网络爬虫开发——IP代理池的维护
该楼层疑似违规已被系统折叠隐藏此楼查看此楼准备工作要实现IP代理池我们首先需要成功安装好了 Redis 数据库并启动服务,另外还需要安装 Aiohttp.Requests.RedisPy.PyQ ...
IP代理池检测代理可用性
目录项目代码 utils.py settings.py proxy_queue.py check_proxy.py 运行方法在<基于Scrapy的IP代理池搭建>一文中,我们将从网页爬 ...

Python3并发检验代理池地址

Python3并发检验代理池地址相关推荐

最新文章

热门文章