随机选出代理ip，免费的代理ip地址

from bs4 import BeautifulSoup
import requests
import random#从ip代理网站获取ip列表
def get_ip_list(url,headers):web_data = requests.get(url,headers=headers)soup = BeautifulSoup(web_data.text,'lxml')ips = soup.find_all('tr')ip_list = []for i in range(1,len(ips)):ip_info = ips[i]tds = ip_info.find_all('td')ip_list.append(tds[1].text + ':' +tds[2].text)  #拼接成【ip:端口】的格式return ip_list#在ip列表中随机取出一个ip
def get_random_ip(ip_list):proxy_list = []for ip in ip_list:proxy_list.append('https://' + ip)   #拼接成网址proxy_ip = random.choice(proxy_list)    #随机选择一个网址proxies = {'https':proxy_ip}  #proxies的格式是一个字典：{‘http’: ‘http://123.123.321.123:808‘}return proxiesif __name__ == '__main__':proxy_url = 'http://ip.yqie.com/proxygaoni/'    #ip代理网站headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1'}ip_list = get_ip_list(proxy_url,headers)  #调用函数get_ip_list 传入参数url和headers，返回一个IP列表proxies = get_random_ip(ip_list)    #调用函数get_random_ip 传入参数是第一个函数得到的列表，返回一个随机的proxiesprint(proxies)

免费的IP地址：

免费代理IP http://ip.yqie.com/ipproxy.htm
66免费代理网 http://www.66ip.cn/
89免费代理 http://www.89ip.cn/
无忧代理 http://www.data5u.com/
云代理 http://www.ip3366.net/
快代理 https://www.kuaidaili.com/free/
极速专享代理 http://www.superfastip.com/
HTTP代理IP https://www.xicidaili.com/wt/
小舒代理 http://www.xsdaili.com
西拉免费代理IP http://www.xiladaili.com/
小幻HTTP代理 https://ip.ihuan.me/
全网代理IP http://www.goubanjia.com/
飞龙代理IP http://www.feilongip.com/

随机选出代理ip，免费的代理ip地址相关推荐

Python爬虫方式抓取免费http代理IP
我们新手在练手的时候,常常需要一些代理IP进行爬虫抓取,但是因为学习阶段,对IP质量要求不高,主要是弄懂原理,所以花钱购买爬虫代理IP就显得没必要(大款忽略),今天跟大家分享一下,如果使用爬虫抓取免费 ...
教你创建一个免费的代理IP池（txt存储版本）
教你创建一个免费的代理IP池(txt存储版本) 很多人可能会为爬虫被ban,IP被封等反爬机制苦恼,接下来我就教给大家如何白嫖做一个代理IP池. 准备工作首先是准备工作,因为是第一个版本,因此我打算 ...
Python 利用免费HTTP代理IP网站多线程筛选出自己的代理IP池
LONG LONG TIME NO SEE 文章目录前言一.怎么找IP代理? 二.直接上手先把可用的搞下来再对它进行筛选和分析三.代码的合并.重构和优化总结前言有爬虫就会有反爬,就好像 ...
获取免费代理IP，并检验IP有效性
爬虫程序访问网站,速度很快,很容易突破网站设置的访问次数,此情况下就会被停止访问,或者IP被封.如果此时能有一些代理IP,切换不同的代理IP去访问网站,使网站以为是从不同的机器上访问的,那么代理IP背 ...
免费代理池，在线公共ip池
这些公共代理是完全免费提供的,不需要任何授权. 免费代理通常是开放的.流行的公共代理. 与私人代理不同,公共代理不需要注册或密码.事实上,它们是负责安装在计算机上的代理服务器并且不关心更改默认设置的系 ...
为什么最好是选择付费的代理IP而不是免费的代理IP？
随着社会科技的发展,人们对代理服务器的认可,越来越多的代理ip软件应运而生.但是对于ip代理软件来说,从宏观的角度来看,可以分为免费购买和付费购买两种不同的类型.两者的区别是什么? 优缺点在哪里?请看 ...
用selenium通过免费https代理IP模拟浏览器行为
先用requests库简单测试代理IP的可用性,再用selenium通过测试可用的代理IP模拟浏览器行为.以下代码提供一个思路,可作为一个学习用的测试例子. 免费代理可用性确实很低很低,非生产需求还是 ...
爬取小舒代理免费代理IP，并验证IP是否有效
爬虫爬取免费代理ip,验证代理ip有效性,保存到本地txt,建立代理池使用多线程+队列+正则匹配,对免费代理ip网站和查询自身ip网站(验证代理ip是否有效)发送请求,如果代理ip为有效,保存至本地 ...
Python每日一练(24)-requests 模块获取免费的代理并检测代理 IP 是否有效
目录 1. 通过代理服务发送请求 2. 获取免费的代理 IP 3. 检测代理 IP 是否有效 1. 通过代理服务发送请求在爬取网页的过程中,经常会出现不久前可以爬取的网页现在无法爬取的情况,这是因为 ...

随机选出代理ip，免费的代理ip地址

随机选出代理ip，免费的代理ip地址相关推荐

最新文章

热门文章