用代理IP进行简单的爬虫——爬高匿代理网站

用西刺代理网站的IP爬高匿代理网站

 1 import re
 2 import _thread
 3 from time import sleep,ctime
 4 from urllib.request import urlopen
 5 from urllib.request import Request
 6 from urllib.request import ProxyHandler
 7 from urllib.request import build_opener
 8 from lxml import etree
 9
10 url = "http://www.kuaidaili.com/free/"
11 #设置代理IP
12 proxy = {'http':'113.123.13.149:808'}
13 proxy_support = ProxyHandler(proxy)
14 opener = build_opener(proxy_support)
15 #设置访问协议头
16 opener.addheaders = [('User-agent','Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6')]
17 r = opener.open(url)
18 html = r.read().decode('utf-8')
19 print(html)
20 selector = etree.HTML(html)
21 links = selector.xpath('//tr/td/text()')
22 for link in links:
23     print(link)

转载于:https://www.cnblogs.com/wangyuhangboke/p/7800811.html

用代理IP进行简单的爬虫——爬高匿代理网站相关推荐

代理ip怎么使用_爬虫如何使用代理ip解决封禁？
爬虫如何使用代理ip解决封禁? 随着大数据时代的到来,很多做爬虫要用到代理IP,爬虫已经成了获取数据的必不可少的方式,在使用爬虫多次爬取同一网站时,经常会被网站的IP反爬虫机制给禁掉,为了解决封禁 I ...
【实用工具系列之爬虫】python实现爬取代理IP（防 ‘反爬虫’）
系列 [实用工具系列之爬虫]python实现爬取代理IP(防 '反爬虫') [实用工具系列之爬虫]python实现快速爬取财经资讯(防 '反爬虫') 本文使用python实现代理IP的爬取,并可以防' ...
【日常】利用代理IP伪装进行多进程爬虫
最近有些饱暖思淫欲了,对之前爬虫的速度很不满意了.主要是在爬虫速度上的需求问题,如果追求速度就很容易被网站封锁IP:如果追求稳定地爬取只能通过两次访问之间间隔一个随机时间来避免网站对爬虫的封锁,然而这 ...
代理ip如何使用_为什么在使用代理IP爬虫时会出现超时？
相信很多朋友在使用代理IP爬虫时都遇到过这类状况:做了充足的准备,刚刚开始一天的爬虫工作时,就出现提示"访问网站地址请求超时",使用免费代理IP时这种情况更为频发. 为什么在使用代 ...
python爬虫：批量抓取代理ip，进行验证，抓取豆瓣网站影视信息
本文作为学习笔记参考用: [1]批量抓取代理ip: 找到第三方ip代理的网站,进行分析,并批量抓取,抓取程序放到Proxies_spider.py中,如下所示: import re import re ...
代理IP爬取和验证（快代理西刺代理）
前言仅仅伪装网页agent是不够的,你还需要一点新东西今天主要讲解两个比较知名的国内免费IP代理网站:西刺代理&快代理,我们主要的目标是爬取其免费的高匿代理,这些IP有两大特点:免费,不稳 ...
python爬取国内代理ip_【python】国内高匿代理爬取,并验证代理ip有效性
运行环境:python 3.7.3 所需库: 1. requests 2. lxml 3. time 4. multiprocessing 5. sys 目的:构建自己的代理ip池,针对封ip型反爬虫 ...
python爬取网页文字和图片_简单的爬虫：爬取网站内容正文与图片
我们来写个简单的爬虫#### 需要用到的模块需要用到python的urllib和lxml模块,urllib为python的自带模块,lxml需要自行安装:pip install lxml 简单介绍u ...
写一个简单的爬虫 - 如何模拟登录网站
设置Developer Tools 以查看完整的登录过程如 chrome 的 Developer Tools.firefox 的 httpfox 插件等推荐 chrome 的 Developer ...
配好代理IP池爬遍全球都不怕
目录 1. 什么是代理ip池? 2. 代码: 对于爬虫来说,当你的访问频率达到了目标网站的预警值时,就可能触发目标网站的反爬机制.而封禁访问者ip就是很常见的一个反爬机制. 当ip被封禁后,从此ip发 ...

用代理IP进行简单的爬虫——爬高匿代理网站

用代理IP进行简单的爬虫——爬高匿代理网站相关推荐

最新文章

热门文章