10-穿墙代理的设置 | 01.数据抓取 | Python
10-穿墙代理的设置
郑昀 201005 隶属于《01.数据抓取》小节
我们访问 Twitter 等被封掉的网站时,需要设置 Proxy 。
1.使用HTTP Proxy
下面是普通HTTP Proxy的设置方式:
1.1.pycurl 的设置
_proxy_connect = "http://127.0.0.1:1984"
c = pycurl.Curl()
…
c.setopt(pycurl.PROXY, _proxy_connect)
1.2.urllib2 的设置
req = urllib2.Request(link)
proxy = urllib2.ProxyHandler({'http':'http://127.0.0.1:1984'})
opener = urllib2.build_opener(proxy,urllib2.HTTPHandler)
urllib2.install_opener(opener)
req.add_header('User-Agent', URLLIB2_USER_AGENT)
urllib2.urlopen(link)
…
opener.close()
1.3.httplib 的设置
conn = httplib.HTTPConnection("127.0.0.1",1984)
conn.request("GET", "http://www.python.org/index.html")
r = conn.getresponse()
print r.status, r.reason
1.4.httplib2 的设置
import httplib2import sockshttplib2.debuglevel=4h = httplib2.Http(proxy_info = httplib2.ProxyInfo(socks.PROXY_TYPE_HTTP, 'proxy_host', proxy_port))r,c = h.request(http://bitworking.org/news/)
参见 httplib2 的 Wiki 说明。
socks 库需要安装,主页地址:http://socksipy.sourceforge.net/ ,它不需要安装,下载源代码包后直接把 socks.py 复制到 Python's lib/site-packages 目录即可。
httplib2 则用 easy_install httplib2 安装即可。
1.5.socket代理
参见《python中的socket代理》可知,更底层的socket代理如下所示:
import socks, socketsocks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, "proxy_host", proxy_port)socket.socket = socks.socksocket需要 socks 库。
1.6.twisted.web.client 的设置
from twisted.internet import reactorfrom twisted.web import clientclass ProxyClientFactory(client.HTTPClientFactory): def setURL(self, url): client.HTTPClientFactory.setURL(self, url) self.path = urlfactory = ProxyClientFactory('http://url_you_want')reactor.connectTCP('http://proxy_host', proxy_port, factory)reactor.run()
如果代理需要Basic身份验证,如代理地址是:
http://user:pwd@host:port ,那么就用到proxy-authenticate header了:
import base64
# Proxy credentials
proxyAuth = base64.encodestring('%s:%s' % (proxy_username,proxy_password))
proxy_authHeader = "Basic " + proxyAuth.strip()
factory = ProxyClientFactory('http://url_you_want')
factory.headers={'Proxy-Authenticate': proxy_authHeader}
reactor.connectTCP('http://proxy_host', proxy_port, factory)
只要把Proxy-Authenticate header字段设置好,前面的httplib/urllib2等如法炮制,可参考 Python2.6的 test_urllib2 示范代码中的 test_proxy_basic_auth 函数。
2.使用HTTPS Proxy
如果代理是HTTPS的,并需要证书,那么请参考 python-httpclient 的写法。
2.1.urllib2 的设置
Python 2.X可参考 Recipe 456195 的代码。或参见 Python2.6的 test_urllib2 示范代码中的 test_proxy_https 函数。
Python 3k的参见 revision 74204。
参考资源:
1、python-httpclient:
This project aims to provide an HTTP client library for Python to address some of the shortcomings of httplib and urllib2;
2、Does python twisted framework HttpClient access proxy? ;
3、How do I switch this Proxy to use Proxy-Authentication? ;
4、Python 3.0 SSL over Proxy ;
5、Recipe 456195: urrlib2 opener for SSL proxy (CONNECT method) 。
10-穿墙代理的设置 | 01.数据抓取 | Python相关推荐
- python修改微信运动步数_微信运动数据抓取(Python)
"微信运动"能够向朋友分享一个包含有运动数据的网页,网页中就有我们需要的数据.url类似于:http://hw.weixin.qq.com/steprank/step/person ...
- 百度指数数据抓取Python+selenuim+OpenCV(三)
可能有些人没有接触过机器学习的内容,但是我所用的是比较简单的最近邻算法,而且特征表达方式也是基于网上某位大牛的特征表达方式,比较简单,感兴趣的可以换其他方法,但就我目前实验数据表明,百度指数的数据用该 ...
- php天眼查数据抓取,python用xpath采集天眼查内容,有反爬,zip拼数据
# -*- coding: utf-8 -*- """ 起始未登录有反爬,爬失败.策略:重新登录,并在headers中加入cookie,成功了. "" ...
- python—简单数据抓取七(采取蘑菇API代理设置scrapy的代理IP池并利用redis形成队列依次使用,利用ip池访问网页并将scrapy爬取转移到items的数据存入到数据库)
学习目标: Python学习二十七-简单数据抓取七 学习内容: 1.采取蘑菇API代理设置scrapy的代理IP池并利用redis形成队列依次使用 2.利用ip池访问网页并将scrapy爬取转移到it ...
- 爬虫Spider 05 - 代理参数-proxies | 控制台抓包 | requests.post() | 动态加载数据抓取-Ajax
文章目录 Spider 04回顾 requests.get()参数 常见的反爬机制及处理方式 Spider 05笔记 代理参数-proxies **控制台抓包** **requests.post()参 ...
- python—简单数据抓取三(简单IP地址代理、利用蘑菇代理实现IP地址代理刷新本地ip地址、利用蘑菇代理实现IP地址代理抓取安居客信息并实现多线程)
学习目标: python学习二十三 -数据抓取三. 学习内容: 1.简单IP地址代理 2.利用蘑菇代理实现IP地址代理刷新本地ip地址 3.利用蘑菇代理实现IP地址代理抓取安居客信息并实现多线程 1. ...
- Uipath 学习栏目基础教学:10、数据抓取
提示:专栏解锁后,可以查看该专栏所有文章. 文章目录 一.数据抓取 1.1表格数据抓取 1.2 搜索结果爬取 提示:以下是本篇文章正文内容,下面案例可供参考 一.数据抓取 UiPath Studio ...
- Python学习笔记——爬虫原理与Requests数据抓取
目录 为什么要做网络爬虫? 通用爬虫和聚焦爬虫 HTTP和HTTPS 客户端HTTP请求 请求方法 HTTP请求主要分为Get和Post两种方法 常用的请求报头 1. Host (主机和端口号) 2. ...
- python模拟登录淘宝直通车_Python实现的淘宝直通车数据抓取(2)
再看我们要抓取的数据,网页是这样的: 这里是我们要抓取的数据: 打开chrome的调试工具发现数据是通过一个Ajax请求来获取的: 这样的话,获取数据就太简单了,因为完全不需要去解析html页面,只需 ...
最新文章
- c语言统计26个英文字母各出现个数,网上答案汇总与分析——【输入一串英文,统计各单词出现的个数】...
- java数值运算后精度丢失问题
- python函数后面有多个括号怎么理解?
- redshift教程_分析和可视化Amazon Redshift数据—教程
- String类得常用方法
- 客户服务支持管理软件—工单管理
- el表达式 多条件判断
- (8)数据结构-循环队列
- Android 自定义价格日历控件
- 云南民族大学计算机网络期末试卷,云南民族大学附中2018届高三上学期期末考试物理试卷【附答案】...
- 5大经典排序算法在淘宝“有好货”场景的实践
- 微信王者有ios的服务器吗,王者IOS微信区国服瑶多有钱?凌晨撒4W红包,点开头像傻眼...
- 细说Dev c++的使用方法及常见问题
- 打开或关闭windows功能时,提示“出现错误。并非所有的功能被成功更改” 已解决
- SharePoint服务器端对象模型 之 使用CAML进行数据查询
- 回锅DS-4:回头看的感觉
- window服务是什么?
- vue table获取复选框选中数据
- 【Linux】安装Tomcat以yum方式安装
- 求职面试算法总结(感谢用心整理的小伙伴)
热门文章
- [洛谷P4012] [网络流24题] 深海机器人问题
- 浏览器常见bug及解决办法
- UVa 11762 (期望 DP) Race to 1
- 【XML DOM】解析XML Dom
- Windows Server 2008 R2安装Zune 4.0解决方法
- lamp兄弟连视频笔记
- Android 图片切换特效 AndroidImageSlider
- 【题解】Luogu P2783 有机化学之神偶尔会做作弊
- 【bzoj 3173】[Tjoi2013]最长上升子序列
- JavaScript闭包的底层运行机制