python urllib3 使用_Python urllib3和代理

我试图弄清楚如何使用代理和多线程.

此代码有效：

requester = urllib3.PoolManager(maxsize = 10, headers = self.headers)

thread_pool = workerpool.WorkerPool()

thread_pool.map(grab_wrapper, [item['link'] for item in products])

thread_pool.shutdown()

thread_pool.wait()

然后在grab_wrapper中

requested_page = requester.request('GET', url, assert_same_host = False, headers = self.headers)

标题包括：Accept,Accept-Charset,Accept-Encoding,Accept-Language和User-Agent

但这在生产中不起作用,因为它必须通过代理,不需要授权.

我尝试了不同的东西(将代理传递给请求,在标题中等).唯一有效的是：

requester = urllib3.proxy_from_url(self._PROXY_URL, maxsize = 7, headers = self.headers)

thread_pool = workerpool.WorkerPool(size = 10)

thread_pool.map(grab_wrapper, [item['link'] for item in products])

thread_pool.shutdown()

thread_pool.wait()

现在,当我运行程序时,它将发出10个请求(10个线程),然后……停止.没有错误,没有任何警告.这是我可以绕过代理的唯一方法,但似乎不可能一起使用proxy_from_url和WorkerPool.

有关如何将这两者合并为工作代码的任何想法？由于时间限制,我宁愿避免将其重写为杂乱无章等

问候

python urllib3 使用_Python urllib3和代理相关推荐

python urllib3 使用_Python urllib3以及如何处理cookie支持？
是不是有与多个Cookie的问题吗? 某些服务器返回多个Set-Cookie标题,但urllib3将标题存储在字典中,而字典不允许具有相同键的多个条目. httplib2有一个类似的问题. 或许不是: ...
python 远程控制摄像头_Python设置Socket代理及实现远程摄像头控制的例子
为了python设置socket代理,首先,你得下载SocksiPy这个.解压出来之后里面会有一个socks.py文件.然后你可以把这个文件复制到python安装目录里面的Lib\site-packa ...
【python】urllib和urllib3，requests 简要概括---笔记
'''urllib和urllib3,requestsurl:协议://存放资源的地址(域名)/具体的资源https://bj.lianjia.com/zufang/dghfjhsjdf648.html ...
python ip代理池_Python 爬虫IP代理池的实现
很多时候,如果要多线程的爬取网页,或者是单纯的反爬,我们需要通过代理IP来进行访问.下面看看一个基本的实现方法. 代理IP的提取,网上有很多网站都提供这个服务.基本上可靠性和银子是成正比的.国内提供的 ...
python的requests库的添加代理_python爬虫之requests库使用代理
python爬虫之requests库使用代理发布时间:2020-03-25 17:00:54 来源:亿速云阅读:110 作者:小新今天小编分享的是关于python爬虫的requests库使用代理 ...
appium ConnectionRefusedError,urllib3.exceptions.NewConnectionError,urllib3.exceptions.MaxRetryError
appium ConnectionRefusedError,urllib3.exceptions.NewConnectionError,urllib3.exceptions.MaxRetryError ...
Python学习教程（Python学习视频_Python学些路线）：Day05 总结和练习
Python学习教程(Python学习视频_Python学些路线):总结和练习练习清单寻找"水仙花数". 寻找"完美数". "百钱百鸡" ...
python扫描proxy并获取可用代理ip列表
mac或linux下可以work的代码如下: # coding=utf-8import requests import re from bs4 import BeautifulSoup as bs i ...
Python 多线程爬取西刺代理
西刺代理是一个国内IP代理,由于代理倒闭了,所以我就把原来的代码放出来供大家学习吧. 镜像地址:https://www.blib.cn/url/xcdl.html 首先找到所有的tr标签,与class ...

python urllib3 使用_Python urllib3和代理

python urllib3 使用_Python urllib3和代理相关推荐

最新文章

热门文章