前言

仅仅伪装网页agent是不够的，你还需要一点新东西

今天主要讲解两个比较知名的国内免费IP代理网站：西刺代理&快代理，我们主要的目标是爬取其免费的高匿代理，这些IP有两大特点：免费，不稳定（至于为什么要爬不稳定的免费的代理，你心里难道没点B+树么，高富帅谁** 过来学爬虫，还爬代理，人家直接买好么~）

目标

给出目标网站，盘它

• 快代理高匿代理 IP（https://www.kuaidaili.com/free/inha/）
• 西刺高匿代理 IP（http://www.xicidaili.com/nn/）

快代理

• 代码详情

import ChangIp.GetAgent
import org.jsoup.Jsoup
import org.jsoup.nodes.Documentimport scala.collection.mutable.ArrayBuffer
import scala.util.{Failure, Random, Success, Try}
import scala.collection.JavaConverters._/*** @Author ******** @Create 2019-01-23 11:59* @Descripation:***/
object IP_CollectTest {//抓取快代理前10页的ipdef requestGetUrl(times:Int=20)(url:String,tag:String,arr_all:ArrayBuffer[String]): Unit ={//设置随机间隔时间var delay:Long=500delay = (1000+(new Random).nextInt(4000)).toLong//开始抓取//GetAgent.get_agent()方法--见上一篇，很简单，自己加一下就行Try(Jsoup.connect(url+tag).userAgent(GetAgent.get_agent()).get())match {case Failure(e) =>{if(times!=0){println(e.getMessage)//抓取失败重试Thread.sleep(delay)requestGetUrl(times-1)(url,tag,arr_all)}else throw e}case Success(doc) =>// 解析网页传入参数，doc和保存数据的数组val count = parseDoc(doc,arr_all)if (count==0){//抓取失败重试Thread.sleep(delay)if(times>=0){requestGetUrl(times-1)(url,tag,arr_all)}else {println(tag+"scrape data failed...,Please comfirm this word again")}}}}//网页解析def parseDoc(doc:Document,arr_all:ArrayBuffer[String]): Int ={// 用count判断是否有返回数据var count = 0val links = doc.select("tr")for(link<-links.asScala){// 爬取IPval ip = link.select("td").select("[data-title=IP]").text()// 爬取portval port = link.select("td").select("[data-title=PORT]").text()// 拼成字符串并保存if(!ip.isEmpty && !port.isEmpty){val res = ip+":"+portprintln(res)arr_all.append(res)// 有返回数据则count+1count+=1}}count}def use : ArrayBuffer[String] ={// 用一个array数组保存结果val arr_all = ArrayBuffer[String]()//遍历前10页for(i<-Range(1,11)){val url = "https://www.kuaidaili.com/free/inha/"// 传入三个参数（地址，页数，数组）requestGetUrl()(url,i.toString,arr_all)}//返回保存爬取数据的数组arr_all}def main(args: Array[String]): Unit = {use}
}

• 结果展示

西刺代理

这里我们只放一下网页解析的代码，其他的跟上面一样

• 代码详情

bject XiCi_IPCollect {def main(args: Array[String]): Unit = {// 爬取的网址val url = "https://www.xicidaili.com/nn/1"// 加上TryCatch框架Try(Jsoup.connect(url).get())match {case Failure(e) =>// 打印异常信息println(e.getMessage)case Success(doc:Document) =>// 解析正常则返回Document，然后提取Document内所需信息val links = doc.select("table#ip_list").select("tr")for(link<-links.asScala){val txt = link.text()val ip = txt.split(" ")(0)val port = txt.split(" ")(1)if(ip.contains(".")){println(ip+":"+port)}}}}
}

• 结果展示

代理验证

因为这些免费IP不稳定的原因，其实这些IP里有很大一部分是不能用的，所以需要我们来提取能用的IP，以节省后续爬虫的时间

验证IP是否可用其实非常简单，就是在header里加入要查询的IP，然后访问一下网站，如果成功，那么代表IP可用

def is_pass(arr_all:ArrayBuffer[String]): ArrayBuffer[String]  = {//arr_all 数组里保存这上面我们爬取的代理IPval arr_pass = ArrayBuffer[String]()for (i <- arr_all) {try{//proxy(ip,port)这个函数添加ip进headerval response = Jsoup.connect("http://www.baidu.com").proxy(i.split(":").head.trim,i.split(":").last.trim.toInt).userAgent(agent).execute()//网站返回码不是200就可以，这方面有兴趣可以自己google一下if(response.statusCode()!=200){println("Bad proxy: "+i)}else {arr_pass.append(i)println("Success  proxy: "+i)}}catch{case e => println(e)}}arr_pass}

或者不用简单直接一点

 //验证ip是否可用def is_pass(arr_all:ArrayBuffer[String]): ArrayBuffer[String]  ={val arr_pass = ArrayBuffer[String]()for(i<-arr_all){Try(Jsoup.connect(URL_pas).proxy(i.split(":").head.trim,i.split(":").last.trim.toInt).userAgent(agent).get())match {case Failure(e)=>println(e)//如果没有异常，直接添加case Success(doc:Document)=>//          println(i)arr_pass.append(i)}}arr_pass}

结尾唠叨两句

如果你对我的文章感兴趣，欢迎你点开我下一篇文章，后面我将手把手带你一起完成一个个小case，对了如果你也有好的想法，欢迎沟通交流
今天主要是分享了一下IP代理获取的小方法，有兴趣的同学还可以自己添加定时的功能，每天更新IP。