python制作网页挂机_python使用ip代理抓取网页
当我们抓取网站的一个信息的时候,如果我们访问的时段非常的频繁,很大可能会被被访问的网站检测到从而进行屏蔽,解决这个问题的方法之一就使用代理IP,在我们接入因特网上网的时候,我们的电脑会被分配一个IP,提供给我们试用,而当我们频繁访问一个网站时,该网站也正是因为发现同一个ip地址访问多次而进行屏蔽的,这个时候更换IP地址访问是最好的解决方式,多个ip地址进行随机地轮流访问,减少被该网站检测到的概率。这时候如果我们再使用多个不同的headers,这时候就有多个ip+主机的组合,访问时被发现的概率又进一步减小了。
关于代码中ip代理的使用,下面介绍一下:
步骤:
1、urllib2库中的ProxyHandler类,通过此类可以使用ip代理访问网页
proxy_support=urllib2.ProxyHandler({}),其中参数是一个字典{‘类型':'代理ip:端口号'}
2、定制、创建一个opener
opener=urllib2.build_opener(proxy_support)
3、(1)安装opener
urlib2.install_opener(opener)
(2)调用默认的opener
opener.open(url)
对于没有设置反爬虫机制的网站,我们只需要直接像上面引入ProxyHandler类进行处理,下面以访问csdn主页为例:
import urllib
url="http://www.csdn.net/"
for i in range(0,10000):
html=urllib.urlopen(url)
print html.info()
print i
当使用上述代码时,当循环到20时,就会出现下面的错误
Traceback (most recent call last):
File "C:/Users/lenovo/PycharmProjects/untitled1/jt2/__init__.py", line 19, in
html=urllib.urlopen(url)
File "C:\Python27\lib\urllib.py", line 87, in urlopen
return opener.open(url)
File "C:\Python27\lib\urllib.py", line 213, in open
return getattr(self, name)(url)
File "C:\Python27\lib\urllib.py", line 350, in open_http
h.endheaders(data)
File "C:\Python27\lib\httplib.py", line 997, in endheaders
self._send_output(message_body)
File "C:\Python27\lib\httplib.py", line 850, in _send_output
self.send(msg)
File "C:\Python27\lib\httplib.py", line 812, in send
self.connect()
File "C:\Python27\lib\httplib.py", line 793, in connect
self.timeout, self.source_address)
File "C:\Python27\lib\socket.py", line 571, in create_connection
raise err
IOError: [Errno socket error] [Errno 10060]
这就是因为我们使用了计算机的单一ip进行频繁访问而被检测出来的。
下面是使用了ip代理的代码:
import urllib2
import random
def getHtml(url,proxies):
random_proxy = random.choice(proxies)
proxy_support = urllib2.ProxyHandler({"http":random_proxy})
opener = urllib2.build_opener(proxy_support)
urllib2.install_opener(opener)
html=urllib2.urlopen(url)
return html
url="http://www.csdn.net/"
proxies=["101.53.101.172:9999","171.117.93.229:8118","119.251.60.37:21387","58.246.194.70:8080"
"115.173.218.224:9797","110.77.0.70:80"]
for i in range(0,10000):
try:
html=getHtml(url,proxies)
print html.info() #打印网页的头部信息,只是为了展示访问到了网页,可以自己修改成想显示的内容
print i
except:
print "出现故障"
这个代码我测试是在1096次时被检测到了,要知道我的列表中只有6个ip,如果我们增加ip的个数,那么被发现的概率是不是又会更低了。对于上面的例子中的ip代理,有可能在过了一段时间后便不能用了,这个需要自己到网上搜索最新的ip代理,进行替换。还有程序中的异常处理是为了使程序能够处理ip代码访问时出现问题的情况,因为有些ip代理在访问的时候会出现故障的,这样做了可以使程序更加健壮。
对于有反爬虫机制的网页,下面还是以访问csdn中的博客为例:
#coding:utf-8
import urllib2
import random
def get_html(url,headers,proxies):
random_userAget = random.choice(headers)
random_proxy = random.choice(proxies)
#下面是模拟浏览器进行访问
req = urllib2.Request(url)
req.add_header("User-Agent", random_userAget)
req.add_header("GET", url)
req.add_header("Host", "blog.csdn.net")
req.add_header("Referer", "http://blog.csdn.net/?&page=6")
#下面是使用ip代理进行访问
proxy_support = urllib2.ProxyHandler({"http":random_proxy})
opener = urllib2.build_opener(proxy_support)
urllib2.install_opener(opener)
html = urllib2.urlopen(req)
return html
url = "http://blog.csdn.net/?&page=3"
"""
使用多个主机中的user_agent信息组成一个列表,当然这里面的user_agent都是残缺的,大家使用时可以自己找
身边的小伙伴借呦
"""
user_agents = [
"Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWe。。。hrome/45.0.2454.101 Safari/537.36",
"Mozilla / 5.0(Windows NT 6.1) AppleWebKit / 537.。。。。likeGecko) Chrome / 45.0.2454.101Safari/ 537.36",
"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit。。。。。Gecko) Chrome/50.0.2661.102 Safari/537.36",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.3。。。。ML, like Gecko) Chrome/49.0.2623.112 Safari/537.36",
"User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) 。。。WebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586",
"User-Agent: Mozilla/5.0 (Windows NT 10.0) AppleWebKi。。。。。36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586",
"Mozilla/5.0 (Windows NT 10.0; WOW64) Apple。。。。。KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36"
]
#网上的ip有可能是不能用的,需要多做尝试
myproxies=["220.189.249.80:80","124.248.32.43:80"]
html = get_html(url,user_agents,myproxies)
print html.read()
相关资讯
挂机精灵代理ip软件解决ip被封
挂机精灵代理ip软件解决ip被封,现在市面上挂机软件如此之多,该怎么判断这个挂机软件是好用还是不好用呢?我们该如何选择一款适
python制作网页挂机_python使用ip代理抓取网页相关推荐
- python通过代理访问网页_Python使用PyCurl通过SOCK5代理抓取网页 - Python - 服务器之家...
Python使用PyCurl通过SOCK5代理抓取网页 发布时间:2013-10-09
- python爬虫搜特定内容的论文_python基于BeautifulSoup实现抓取网页指定内容的方法...
python基于BeautifulSoup实现抓取网页指定内容的方法 更新时间:2015年07月09日 10:12:50 作者:光索与诺 这篇文章主要介绍了python基于BeautifulSoup实 ...
- python和人工智能爬虫_Python 演示人工智能爬虫 抓取新浪微博数据
时间:2019-04-10 概述:搜索爬虫 人工智能 一个Python 人工智能爬虫演示,本代码演示抓取新浪微博数据,若正在采集新浪微博数据,如需取消请按CTRL+C 退出程序. #!/usr/bin ...
- python爬虫怎么提取网页信息_Python爬虫是如何抓取并储存网页数据的?
以下文章来源于早起Python ,作者刘早起 早起Python 专注于Python爬虫/数据分析/办公自动化 爬虫是Python的一个重要的应用,使用Python爬虫我们可以轻松的从互联网中抓取我们想 ...
- python 制作高斯mask_Python3 练手项目: 抓取豆瓣陈情令评论,并制作词云图
(点击上方公众号,可快速关注一起学Python) 链接: https://blog.csdn.net/weixin_43930694/article/details/98334465 一.项目简介 1 ...
- python3多线程第三方库_Python之多线程爬虫抓取网页图片的示例代码
目标 嗯,我们知道搜索或浏览网站时会有很多精美.漂亮的图片. 我们下载的时候,得鼠标一个个下载,而且还翻页. 那么,有没有一种方法,可以使用非人工方式自动识别并下载图片.美美哒. 那么请使用pytho ...
- python爬虫提取教学_python爬虫的基本抓取
1.创建一个爬虫项目 在项目中新建middlewares.py文件(./项目名/middlewares.py) 2.使用代理服务器 采集大量数据时,最好使用代理.防止IP被封,下载次数受限等. # 代 ...
- 尹成python爬虫百度云_Python爬虫实战:抓取并保存百度云资源
寻找并分析百度云的转存api 首先你得有一个百度云盘的账号,然后登录,用浏览器(这里用火狐浏览器做示范)打开一个分享链接.F12打开控制台进行抓包.手动进行转存操作:全选文件->保存到网盘-&g ...
- 用python模拟一个文本浏览器来抓取网页
最近在研究爬虫, 主要是用urllib和urllib2以及其他的一些标准库. 当然, urllib2的缺点就是不能看到 http请求发送了那些header, 服务器返回的信息也看不到, 只能看到htm ...
- Python爬虫之XPath基础教程:用代码抓取网页数据
Python爬虫之XPath基础教程:用代码抓取网页数据 在网络时代,网页数据是获取信息和进行分析的最重要的来源之一.Python的爬虫技术让我们可以轻松抓取网页数据,并进行数据处理.XPath是一种 ...
最新文章
- C#下如何实现服务器+客户端的聊天程序
- Android studio 刷新文件状态
- IPython基础使用_Round2
- Linux下设置时区(通过shell设置和程序中设置)及程序中设置环境变量
- java微妙_10个微妙的Java编码最佳实践
- mac上matlab2018a,求助,mac系统 点击配置就报错,matlab版本2018a
- 【webGL入门2】点线面的绘制
- C#中showDialog()与show()的区别(转)
- 前期拍摄注意的简要几点,总结了一哈,与大家分享!
- mysql 原理 ~ 并行复制
- 操作系统学习笔记:内存管理
- GMP与ISO9000有何区别?(转载)
- 南京邮电大学电工电子基础B实验二(电气参数测量和伏安特性)
- QQ音乐播放地址 API
- 音王点歌系统怎么连接服务器,KTV音响设备怎么连接?点歌机怎么连接?学习下...
- html唱片机效果,黑胶唱片风格音频播放器jQuery插件
- 【mongodb】连接报错Prematurely reached end of stream
- sql查询语句分支语句
- Allegro Design Entry CIS 和 Orcad Capture CIS 区别
- 用计算机弄音乐,视频剪辑添加音乐,如何在电脑上給视频添加音乐,什么添加音乐软件比较好用...
热门文章
- delphi xe 连接mysql_delphixe7支持MYSQL连接的方式
- Oracle数据库的安装
- 教程入门:建立一个完全自动化的交易系统
- android viewflipper 滑动事件,Android真正简单的教程-第十二枪(ViewFlipper实现滑动效果)...
- c语言第十章课后作业答案,C语言练习题第十章
- linux暗黑2黑屏,如何在Ubuntu 20.04中启用全局暗黑模式
- 【python与数据分析】Python与数据分析概述
- web环境下的图像打印组件
- 小程序商城源码,很不错,推荐给开发者
- 基于JavaWeb的网上订餐网站设计与实现