在网络迅速发展的今天，互联网企业层出不穷，爬虫工作者也越来越多，大家都知道，代理ip是爬虫工作者的一个有力助手，今天小编在这里就与大家分享一下如何设置代理池以及伪装成浏览器的方法，请看下面的介绍。

1.设置代理：

#定义代理ip

proxy_addr="122.241.72.191:808"

#设置代理

proxy=urllib.request.ProxyHandle({'http':proxy_addr})

#创建一个opener

opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandle)

#将opener安装为全局

urllib.request.install_opener(opener)

#用urlopen打开网页

data=urllib.request.urlopen(url).read().decode('utf-8','ignore')

2.伪装成浏览器

#导入urllib.request模块

import urllib.request

#设置请求头

headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0")

#创建一个opener

opener=urllib.request.build_opener()

#将headers添加到opener中

opener.addheaders=[headers]

#将opener安装为全局

urllib.request.install_opener(opener)

#用urlopen打开网页

data=urllib.request.urlopen(url).read().decode('utf-8','ignore')

这就是小编带来的方法了，大家明白了吗？希望代理ip软件能给大家带来更大的帮助。

转载注明来自：智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1

爬虫要选择专业的代理IP

爬虫是大数据时代非常受欢迎的工具，因为现在互联网上的数据非常庞大，而且每天都在不断的增加，所以信息采集脱离爬虫几乎是不可能的事情。爬虫相当于一个访问网页的用户，但不是一个普通的用户，因为爬虫在采集过程中会发出大量请求，而服务器一般很不欢迎这样的用户，所以总是用各种手段发现和禁止，也就是网站的“反爬虫”机制。最常见的方法就是判断你访问的频率，因为普通人访问网页的频率是不会很快的，如果发现某个IP访问的过快就会将此IP封禁。为了能让爬虫继续工作，就要更换它的IP，常用的更换IP的方法就是用代理IP来更换，但是代理IP也有很多种类型，不同类型的代理IP适合不同的场景，而最适合爬虫的则是高匿代理IP。所以，想让爬虫能够高效的工作，一定要选择高匿代理IP。...

[阅读全文]

2

网络爬虫失败的原因

在互联网上，你可以看到各种各样的数据，人们为了收集数据，不断研发出新技术以收集数据，爬取数据和反爬取数据的战争白热化，你来我往却是一场没有硝烟的战争，可以说是非常激烈了。封禁IP地址是最常见和最简单的反爬数据操作。　　如今，人们越来越重视网络信息安全，也越来越重视自身的知识产权。有网络爬虫的地方自然也有反网络爬虫，双方一直僵持不下，大有道高一尺魔高一丈之感。在面对网络爬虫时，目标网站是如何做的呢？　　目标网站反网络爬虫最简单直接的方式就是区分人类访问用户和网络机器人，对HTTP请求头的属性都分外注意与小心，通过进行“是否具有人性”的检查，区别人类访问用户和网络爬虫，当访问次数超过了网站所规定的最高访问次数，就会对该IP进行封禁，出现无法访问该页面的情况。　　但是如果使用HTTP代理IP，可以让网络爬虫看起来更像人类访问用户，并且还可以伪装真实IP。当访问一个非常注重反爬虫的网站时，尽量用那种很少检查但是经常使用的动态IP，这样的话在接受语言属性时，是突破对手的反爬策略的关键。要注意经常使用但很少检查的动态ip代理，比如接受语言属性，它可能是你...

[阅读全文]