python爬虫-利用代理ip访问网页（urllib）

利用访问指定网页返回状态码判断代理使用情况
一般urllib使用代理ip的步骤如下
- 设置代理地址
  - 创建Proxyhandler
  - 创建Opener
  - 安装Opener

from urllib import request,error
if __name__ == '__main__':url = "http://www.baidu.com"proxy = {'http': '206.125.41.135:80'}proxy_handler = request.ProxyHandler(proxy)opener = request.build_opener(proxy_handler)request.install_opener(opener)try:rsp = request.urlopen(url)print(rsp.status)except error.URLError as e:print(e)except Exception as e:print(e)

返回结果如何可以查看请求的返回码，正常返回的返回码是200，其他返回码具体指什么可以查看这篇博客。

python爬虫-利用代理ip访问网页（urllib）相关推荐

Python爬虫-利用代理IP访问网页（requests）
简介之前提到了用urllib使用代理ip的方式,详见博文.这里使用另外一个框架-requests,其设计哲学为"献给人类".它继承了urllib的所有特性,底层是urllib3. ...
python爬虫设置代理ip池
在使用python爬虫的时候,经常会遇见所要爬取的网站采取了反爬取技术,高强度.高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就很可能被封,那如何解决呢?使用代 ...
python爬虫设置代理ip池——方法（一）
""" 在使用python爬虫的时候,经常会遇见所要爬取的网站采取了反爬取技术,高强度.高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网 ...
Python 爬虫使用代理 IP 的正确方法
代理 IP 是爬虫中非常常用的方法,可以避免因为频繁请求而被封禁.下面是 Python 爬虫使用代理 IP 的正确方法: 1. 选择可靠的代理 IP 供应商,购买或者免费使用代理 IP 列表. 2. ...
Python爬虫添加代理IP池（新手）
给爬虫添加代理IP池我们在运行爬虫的过程中由于请求次数过多经常会遇到被封IP的情况,这时就需要用到代理IP来解决.代理IP的原理,简单来说就像在本机和web服务器之间开一个中转站,把本机的请求交给代 ...
Python爬虫获取代理ip及端口
''' 爬取代理ip 可以作为模块使用,在使用代理ip的时候直接调用该模块即可. ''' import re import urllib.requestdef ExtractIP(url='http: ...
python 爬虫获取代理Ip
要点:(环境Python3.5,额外库bs4) 1.从免费代理ip获取ip和端口号 http://www.xicidaili.com/nn/ 2.使用代理 import urllib.request ...
python爬虫使用代理ip_python爬虫如何设置代理ip
python爬虫设置代理ip的方法:首先写入获取到的ip地址到proxy:然后用百度检测ip代理是否成功,并请求网页传的参数:最后发送get请求,并获取返回页面保存到本地. [相关学习推荐:pytho ...
Python爬虫被封ip解决方案
在使用 Python 程序进行网络爬虫开发时,可能因以下原因导致被封 IP 或封禁爬虫程序: 1.频繁访问网站爬虫程序可能会在很短的时间内访问网站很多次,从而对目标网站造成较大的负担和压力,这种行为 ...

python爬虫-利用代理ip访问网页（urllib）

python爬虫-利用代理ip访问网页（urllib）相关推荐

最新文章

热门文章