查询ip地址: http://ip.chinaz.com/getip.aspx

国内代理网址:http://www.xicidaili.com/nn/

测试ip国外代理:http://www.ip181.com

使用代理例子:

# -*- coding: utf-8 -*-

import urllib2

url = "http://ip.chinaz.com/getip.aspx"

proxy_support = urllib2.ProxyHandler({'http':'61.191.41.130'})

opener = urllib2.build_opener(proxy_support)

opener.add_handler=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')]

urllib2.install_opener(opener)

response = urllib2.urlopen(url)

data = response.read()

print data

爬取会经常被封ip。当自己的ip被网站封了之后,只能采取换代理ip的方式进行爬取,所以,我建议,每次爬取的时候尽量用代理来爬,封了代理,还有代理,无穷无尽啊,可别拿代理去黑学校网站啊,你懂得0.0废话不多说,扔上代理的实现程序

# -*- coding: utf-8 -*-

import urllib2

url = "http://www.ip181.com/"

proxy_support = urllib2.ProxyHandler({'http':'121.40.108.76'})

#参数是一个字典{'类型':'代理ip:端口号'}

opener = urllib2.build_opener(proxy_support)

#定制opener

opener.add_handler=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')]

#add_handler给加上伪装

urllib2.install_opener(opener)

response = urllib2.urlopen(url)

print response.read().decode('gbk')

这里采用的测试网站是http://www.ip181.com, 它可以检测出你使用的ip是什么,正好来检验自己是否用代理ip成功

从结果中可以看出,检测出了代理ip,正是我自己加上的ip值,此乃最后一招,当自己ip被封后,采用代理ip进行访问。要是一个代理ip挂了怎么办,那你可以做个ip池啊,就是把一堆代理ip放在一起,每次运行时从ip池挑一个代理ip当做访问ip就可以了!

采用ip池的方法~~~~~举个栗子

# -*- coding: utf-8 -*-

import urllib2

import random

ip_list=['119.6.136.122','114.106.77.14']

#使用一组ip调用random函数来随机使用其中一个ip

url = "http://www.ip181.com/"

proxy_support = urllib2.ProxyHandler({'http':random.choice(ip_list)})

#参数是一个字典{'类型':'代理ip:端口号'}

opener = urllib2.build_opener(proxy_support)

#定制opener

opener.add_handler=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')]

#add_handler给加上伪装

urllib2.install_opener(opener)

response = urllib2.urlopen(url)

print response.read().decode('gbk')

采用代理ip池的方法,可以看出,检测出的ip是ip池中的一个,对吧,很简单对不对,那么怎么来创建ip池呢,也很简单,用动态或者静态方法随便找个匿名ip的网站进行代理ip爬取,然后清洗一下ip,把能用的(测试一个简单的返回状态网页)留下来写到列表里,然后就可以形成ip池啦,最后当某个ip不能用了,那就从池中剔除!ip池制作。

python设置代理_python使用代理proxy相关推荐

  1. python爬虫代理_python爬虫-代理的使用

    代理的设置 在urllib库中使用代理,代码如下: from urllib.request importProxyHandler,build_openerfrom urllib.error impor ...

  2. python http代理_python HTTP代理中转服务

    不知道该取一个什么名字,所以叫HTTP代理中转服务,其实就是将客户端HTTP请求转发给代理IP,再把代理IP的响应返回给客户端,这个有什么用处呢? 很简单,像python的爬虫为了防爬会使用代理IP, ...

  3. python设置背景音乐_python给视频添加背景音乐并改变音量的具体方法

    用到给视频添加背景音乐,并改变音量.记录一下,与碰到同样问题的朋友共享. import subprocess inmp4='E:/PycharmProjects/untitled2/hecheng/1 ...

  4. python设置路径_Python探索之修改Python搜索路径

    当Python执行import语句时,它会在一些路径中搜索Python模块和扩展模块.可以通过sys.path查看这些路径,比如: >>> import sys >>&g ...

  5. python设置字体_Python实现文字特效的方法

    Python实现文字特效的方法 发布时间:2020-06-24 10:00:12 来源:亿速云 阅读:171 作者:清晨 不懂Python实现文字特效的方法?其实想解决这个问题也不难,下面让小编带着大 ...

  6. python设置编码格式_python如何统一编码格式UltraEdit环境python语法高亮设置

    我一直在用ultraedit看zope3的源代码.语法高亮设置可参考www.ultraedit.com UltraEdit是一个很好的工具,但是默认不支持Python的语法高亮,下面是一个现成的Wor ...

  7. python设置断点_python调试 设置断点

    原博文 2013-12-09 11:29 − 1在所需要调试的地方加入如下代码: import pdb pdb.set_trace() 2调试代码常用命令: 实例请见参考文献: 1http://www ...

  8. python 设置时区_python时区设置的两种方式

    第一种用pytz 第二种手动加时区再转换格式 a= datetime.datetime.today() o = datetime.timedelta(hours=8) (a+o).strftime(& ...

  9. python设置字符_python字符串操作

    # FirstPython.py """ 标准字符串函数 """ """ 字符串索引 "" ...

  10. python设置时间间隔_python时间间隔

    广告关闭 腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 计算两个时间点之间的时间间隔,可使用以下方法:datetime模块参考 http ...

最新文章

  1. 推动健全云生态 阿里云锐不可当
  2. 下载 mysql 拖_mysql数据库托从
  3. python与正则表达式(part2)--正则表达式的转义
  4. 同步服务老是报错_悬而未决:MYSQL配置好主从同步后没有报错,但数据一直没有同步过来是什么原因? | 学步园...
  5. lol云顶之奕助手_关于云顶之奕的感想
  6. LeetCode每日一题——串联字符串的最大长度
  7. [java] Unsupported major.minor version 51.0 错误解决方案
  8. 从“阿里月饼门”看安全
  9. 安装office2007时发生错误1706解决方法
  10. 万能的5款工具推进活动策划方案
  11. 只知道努力工作的人,失去了赚钱的机会,过去是适者生存,现在是强者生存,沉思你将来会怎样?
  12. 如何自己建网站,免费自助建站系统平台哪个最好?
  13. python刷快手极速版_自动刷快手极速版脚本当前页面出现
  14. 河南省第四届”金盾信安杯”网络安全大赛writeup(过程,解题思路)
  15. 安卓投屏神器scrcpy
  16. HPET(High Precision Event Timer)简要说明
  17. Java最新面试题及答案
  18. ScriptManager和ClientScript的区别
  19. C语言中 sqrt(); 函数的最全用法总结,最全!!!
  20. 版本发布 | IvorySQL Release - 2.2

热门文章

  1. Python中使用多个分隔符分隔字符串re.split
  2. matlab三维绘图
  3. 优麒麟 20.04 LTS Pro安装Canon LBP2900打印机
  4. python编写安装脚本_ido-Python 安装脚本包
  5. 名词变复数,动词第三人称, 过去式 读音
  6. python买水果题_Python练习题4.9查询水果价格
  7. C/C++ 宏参数名前加#变为字符串
  8. Debug断点调试详解
  9. IEEE transactions 的Latex模板入门笔记
  10. 优先队列(priority_queue)总结