使用Java HttpURLConnection抓取网页内容（一）限制返回的网页大小

　　最近接到一个新的需求，要求给定一个url地址，获取该网页的title和图标地址，大致的思路是使用HttpUrlConnection抓取网页的源码，然后使用正则表达式匹配网页的标题和图标。

开发测试的过程中遇到了N多问题，简单总结一下;

（一）.限制返回的网页大小

　　在使用HttpUrlConnection获取网页内容时，最基本的做法就是获取http输入流，然后读取完整的网页内容，最后关闭输入流和http连接，但这里需要考虑的就是由于需求只是为了获取网页头信息中的title和icon，因此不需要下载完整的网页内容，只需要保证取到完整的头信息就行，思路就是从http输入流中读取指定大小的数据。

 1 try (InputStream inputStream = httpURLConnection.getInputStream();
 2       InputStreamReader inputStreamReader = new InputStreamReader(inputStream);
 3       BufferedReader reader = new BufferedReader(inputStreamReader);) {
 4
 5                 // 只获取10KB的数据
 6                 char[] chars = new char[10 * 1024];
 7                 reader.read(chars, 0, 10 * 1024);
 8
 9                 httpURLConnection.disconnect();
10                 return new String(chars);
11             }

　　验证了几个比较大型的网站，10KB的数据足够获取到head信息。

转载于:https://www.cnblogs.com/superzong/p/6437056.html

使用Java HttpURLConnection抓取网页内容（一）限制返回的网页大小相关推荐

java 抓取网页内容小工具
之超同志今天问我会不会抓网页的内容,然后把一些表格整理成excel. 好吧,我是不会的,但是我想试试,结果还是可行的. 先说说他的需求吧,他需要把http://www.zjex.com.cn/view ...
java socket抓取资源_Java 通过 Socket 的形式抓取网页内容
package com.hmw.net; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.IO ...
java抓取网页内容
今天做项目时用到java抓取网页内容,本以为很简单的一件事但是还是让我蛋疼了一会,网上资料一大堆但是都是通过url抓取网页内容,但是我要的是读取本地的html页面内容的方法,网上找不到怎么办我瞬间了! ...
java socket 获取网页源代码_通过java.net.Socket 类抓取网页内容
/** 文件名 : Firstsocket.java 描述 :通过 java.net.Socket 类访问一个web页面,并且返回结果作者: 慈勤强 cqq1978@yeah.net 参考:http ...
Java爬虫抓取网页
Java爬虫抓取网页原作者:hebedich 原文链接下面直接贴代码: import java.io.BufferedReader; import java.io.InputStreamRead ...
java爬虫抓取网页数据论坛_Java爬虫抓取网页
Java爬虫抓取网页原作者:hebedich 原文链接下面直接贴代码: import java.io.BufferedReader; import java.io.InputStreamReade ...
Asp.Net 之抓取网页内容
一.获取网页内容--html ASP.NET 中抓取网页内容是非常方便的,而其中更是解决了 ASP 中困扰我们的编码问题. 需要三个类:WebRequest.WebResponse.StreamRea ...
python beautifulsoup抓取网页内容_利用Python和Beautiful Soup抓取网页内容
利用Python和Beautiful Soup抓取网页内容 Posted on 2012-08-09 00:08 SamWei 阅读(381) 评论(1) 编辑收藏 Python 3中提供了url打 ...
php 抓取页面图片,php 抓取网页内容与图片的方法
这篇文章主要介绍了关于php 抓取网页内容与图片的方法,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下例子1:<?php include_once("curl.php& ...

使用Java HttpURLConnection抓取网页内容（一）限制返回的网页大小

使用Java HttpURLConnection抓取网页内容（一）限制返回的网页大小相关推荐

最新文章

热门文章