代理IP

代理ip就是可以模拟一个ip地址去访问某个网站爬取某个网站的大量信息时，可能由于我们爬的次数太多导致我们的ip被对方的服务器暂时屏蔽，比如微信文章爬虫超过5000次就直接被拦截了。

利用urllib的request就可以完成代理IP的使用

urlopen只是opener的通用版本，代理IP对于urlopen实现不了，opener需要自定义。

request里面正好有处理各种功能的处理器方法，如下：

ProxyHandler, UnknownHandler, HTTPHandler,
HTTPDefaultErrorHandler, HTTPRedirectHandler,
FTPHandler, FileHandler, HTTPErrorProcessor, DataHandler

ProxyHandler来处理代理问题。

实现代码如下：

import urllib.request
import urllib.error
import urllib.parse# headers参考然后赋值就可以
headers = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng, */*;q=0.8','Accept-Language': 'zh-CN,zh;q=0.9','User-Agent': 'Mozilla/5.0 (Windows NT 6.3;Win64;x64) AppleWebKit/537.36 (KHTM

Python学习[4]：urllib库-爬虫的第三步之代理IP相关推荐

python中的urllib库_Python2/3中的urllib库
介绍urllib库在不同版本的Python中的变动,并以Python3.X讲解urllib库的相关用法. urllib库对照速查表 Python2.X Python3.X urllib urllib. ...
python爬虫隐藏ip_Python3网络爬虫之使用User Agent和代理IP隐藏身份
本文介绍了Python3网络爬虫之使用User Agent和代理IP隐藏身份,分享给大家,具体如下: 运行平台:Windows Python版本:Python3.x IDE:Sublime text3 ...
Python学习[3]：urllib库-爬虫的第二步
这一节主要学习了以下方面: POST请求的处理代理IP使用超时处理加工 parse解析工作 POST请求的处理 POST是HTTP协议的请求方法之一,作为一枚资深的JAVA开发,对于postMan ...
python爬虫网络请求超时_6、web爬虫讲解2—urllib库爬虫—基础使用—超时设置—自动模拟http请求...
利用python系统自带的urllib库写简单爬虫 urlopen()获取一个URL的html源码 read()读出html源码内容 decode("utf-8")将字节转化成字符 ...
python中的urllib库_python3里的Urllib库
首先Urllib是python内置的HTTP请求库. 包括以下模块: urllib.request 请求模块: urllib.error 异常处理模块: urllib.parse url解析模块: u ...
python中的urllib库_七、urllib库（一）
python2中,有urllib和urllib2两个库,在python3中统一为urllib库它是python内置的HTTP请求库,包含了4个模块: request:最基本的HTTP请求模块,用来模 ...
python urlretrieve_使用urllib库的urlretrieve()方法下载网络文件到本地的方法
概述见源码源码 # !/usr/bin/env python # -*- coding:utf-8 -*- """ 图片(文件)下载,核心方法是 urllib.url ...
八 web爬虫讲解2—urllib库爬虫—ip代理—用户代理和ip代理结合应用
使用IP代理 ProxyHandler()格式化IP,第一个参数,请求目标可能是http或者https,对应设置 build_opener()初始化IP install_opener()将代理IP设置 ...
九 web爬虫讲解2—urllib库爬虫—实战爬取搜狗微信公众号—抓包软件安装Fiddler4讲解...
封装模块 #!/usr/bin/env python # -*- coding: utf-8 -*- import urllib from urllib import request import j ...
Python爬虫方式抓取免费http代理IP
我们新手在练手的时候,常常需要一些代理IP进行爬虫抓取,但是因为学习阶段,对IP质量要求不高,主要是弄懂原理,所以花钱购买爬虫代理IP就显得没必要(大款忽略),今天跟大家分享一下,如果使用爬虫抓取免费 ...

Python学习[4]：urllib库-爬虫的第三步之代理IP

代理IP

Python学习[4]：urllib库-爬虫的第三步之代理IP相关推荐

最新文章

热门文章