1.设置System系统属性

// 设置代理IP
System.getProperties().setProperty("proxySet", "true");
System.getProperties().setProperty("http.proxyHost", "218.26.204.66");
System.getProperties().setProperty("http.proxyPort", "8080");  HttpURLConnection connection = (HttpURLConnection)new URL("http://www.baidu.com/").openConnection();
connection.setConnectTimeout(6000); // 6s
connection.setReadTimeout(6000);
connection.setUseCaches(false);  if(connection.getResponseCode == 200)
{  System.out.println("使用代理IP连接网络成功");
}

2.使用java.net.Proxy类

// 使用java.net.Proxy类设置代理IP
Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress("123.22.43.3", 8080));HttpURLConnection connection = null;try {connection = (HttpURLConnection)new URL("http://www.baidu.com/").openConnection(proxy);} catch (IOException e) {e.printStackTrace();}connection.setConnectTimeout(6000); // 6sconnection.setReadTimeout(6000);connection.setUseCaches(false);try {if(connection.getResponseCode() == 200){System.out.println("使用代理IP连接网络成功");}} catch (IOException e) {e.printStackTrace();}

java使用代理ip爬取网站内容相关推荐

爬虫之使用代理ip爬取
爬虫之代理ip的应用在爬虫的过程中,我们经常会遇见很多网站采取了防爬虫技术,或者说因为自己采集网站信息的强度和采集速度太大,给对方服务器带去了太多的压力. 如果一直用同一个代理ip爬取这个网 ...
爬虫篇——代理IP爬取备用及存储
爬虫篇--代理IP爬取备用及存储代码代码本文通过抓取免费的高匿IP代理,将其写入列表并保存为json格式文件,且将代码进行了封装,方便以后抓取数据时动态的更新handle的IP地址,从一方面避免 ...
数据抓取 -- 使用代理IP爬取数据：（2）：使用timeout 时要注意，防止数据加载不完整，导致爬取丢失（举例）
问题: 在使用代理IP爬取数据的时候,经常会出现爬取的网址信息不完整的现象.其中有个原因就是timeout设置问题. 代码如下: import requests from bs4 import Bea ...
快代理IP爬取并建立可用IP池
下面展示一些内联代码片. #快代理IP爬取并建立可用IP池 import requests import time from lxml import etree from fake_userage ...
利用代理IP爬取京东网站手机数据
1.代理简介在爬虫过程中如果经常用自己的IP进行爬虫会出现IP被封的可能,这就要用到代理技术,通过爬取代理网站的IP地址,每次爬取页面就随机选择一个IP地址进行爬取,这样就会降低IP被封的可能性. ...
高可用免费代理ip爬取实战
我们在使用爬虫的时候,会对代理ip有一定程度的需求.今天爬取的这个免费代理网站不是大家已经爬烂的西刺和66等代理网站,是我无意间发现的~ 这个网站还是有一点意思的. 注意到没有,这里的ip地址被换成了 ...
第2.1章 scrapy之国内高匿代理IP爬取
这个网站较为简单,故作为爬虫的第一个示例代码如下: # -*- coding: utf-8 -*- ''' Created on 2017年6月12日从国内高匿代理IP网站中获取动态ip信息 @s ...
代理IP爬取和验证（快代理西刺代理）
前言仅仅伪装网页agent是不够的,你还需要一点新东西今天主要讲解两个比较知名的国内免费IP代理网站:西刺代理&快代理,我们主要的目标是爬取其免费的高匿代理,这些IP有两大特点:免费,不稳 ...
Python使用requests和BeautifulSoup爬取网站内容
实现代码: import requests import re from bs4 import BeautifulSoup url='http://www.cntour.cn/'#这里是要爬取的网站 ...

java使用代理ip爬取网站内容

1.设置System系统属性

2.使用java.net.Proxy类

java使用代理ip爬取网站内容相关推荐

最新文章

热门文章