Java 爬虫--类似Python的requests库--HttpClient， HttpAsyncClient--Maven

今天在找Java的爬虫的库，发现Java的爬虫框架挺多的，常见的有nutch，Heritrix，crawler4j等。

但我想要的是类似Python的requests库的Java库。

看到一个库叫Unirest，但是我尝试后发现并不好用，而且这个库的最后更新时间是16年。

最后我选择了HttpComponents ,里面包含的组件有 HttpClient， HttpAsyncClient 。

在Maven中添加如下依赖：

    <dependency><groupId>org.apache.httpcomponents</groupId><artifactId>httpclient</artifactId><version>4.5.8</version></dependency><dependency><groupId>org.apache.httpcomponents</groupId><artifactId>httpasyncclient</artifactId><version>4.1.4</version></dependency><dependency><groupId>org.apache.httpcomponents</groupId><artifactId>httpmime</artifactId><version>4.5.8</version></dependency>

HttpClient示例代码如下：

        try {CloseableHttpClient httpclient = HttpClients.createDefault();// 创建httpget.HttpGet httpget = new HttpGet("http://www.baidu.com");CloseableHttpResponse response = httpclient.execute(httpget);HttpEntity entity = response.getEntity();if (response.getStatusLine().getStatusCode() == 200) {// 打印响应内容String retSrc = EntityUtils.toString(entity);System.out.println("Response content: " + retSrc);} else {System.out.println("status code error");}} catch (IOException e) {e.printStackTrace();}

HttpAsyncClient异步爬虫代码如下：

     CloseableHttpAsyncClient httpclient = HttpAsyncClients.createDefault();try {httpclient.start();HttpGet request = new HttpGet("http://httpbin.org/get");Future<HttpResponse> future = httpclient.execute(request, null);HttpResponse response = null;response = future.get();System.out.println("Response: " + response.getStatusLine());System.out.println("Shutting down");httpclient.close();} catch (Exception e) {e.printStackTrace();}

Java 爬虫--类似Python的requests库--HttpClient， HttpAsyncClient--Maven相关推荐

python中requests库的用途-数据爬虫（三）：python中requests库使用方法详解
有些网站访问时必须带有浏览器等信息,如果不传入headers就会报错,如下使用 Requests 模块,上传文件也是如此简单的,文件的类型会自动进行处理: 因为12306有一个错误证书,我们那它的网 ...
python基础代码库-python爬虫基础教程：requests库（二）代码实例
get请求简单使用 import requests ''' 想要学习Python?Python学习交流群:973783996满足你的需求,资料都已经上传群文件,可以自行下载! ''' respons ...
python爬虫requests库_python爬虫基础教程：requests库（二）代码实例
get请求简单使用 import requests ''' 想要学习Python?Python学习交流群:973783996满足你的需求,资料都已经上传群文件,可以自行下载! ''' respons ...
python网络爬虫系列教程——python中requests库应用全解
全栈工程师开发手册 (作者:栾鹏) python教程全解 python中requests库的基础应用,网页数据挖掘的常用库之一.也就是说最主要的功能是从网页抓取数据. 使用前需要先联网安装reques ...
手机版python3.6.6的requests库下载_Python爬虫之Python3.6 Requests库的基本使用方法
Python爬虫之Python3.6 Requests库的基本使用方法未分类在使用Python过程中,使用http处理各种请求是我们绕不过去的,在Python中开发爬虫用来抓取各种网络上的资源,就 ...
Python 的 requests 库的用法
Python爬虫利器一之Requests库的用法:http://cuiqingcai.com/2556.html Python利用Requests库写爬虫(一):http://www.jianshu. ...
python使用requests库爬取淘宝指定商品信息
python使用requests库爬取淘宝指定商品信息在搜索栏中输入商品通过F12开发者工具抓包我们知道了商品信息的API,同时发现了商品数据都以json字符串的形式存储在返回的html内解析u ...
python使用requests库下载单张图片的简单示例
python使用requests库下载单张图片的简单示例简要说明代码示例简要说明下载图片的核心代码如下: res = requests.get(url=img_url, headers=hea ...
python3爬虫系列03之requests库：根据关键词自动爬取下载百度图片
python3爬虫系列03之requests库:根据关键词自动爬取下载百度图片 1.前言在上一篇文章urllib使用:根据关键词自动爬取下载百度图片当中,我们已经分析过了百度图片的搜索URL的变化 ...

Java 爬虫--类似Python的requests库--HttpClient， HttpAsyncClient--Maven

Java 爬虫--类似Python的requests库--HttpClient， HttpAsyncClient--Maven相关推荐

最新文章

热门文章