如何抓取html请求,请求获取网页的response,获取网页的html 怎么那么慢
HttpEntity multipart = builder.build();
httppost.setEntity(multipart);
long start = System.currentTimeMillis();
// 发送请求
response = httpclient.execute(httppost);
long end = System.currentTimeMillis();
System.out.println("查询upsfreight消耗的时间是(毫秒):" + (end - start));
start = System.currentTimeMillis();
HttpEntity entity = response.getEntity();
String html = EntityUtils.toString(entity, "utf-8");
end = System.currentTimeMillis();
System.out.println("转换时间:" + (end - start));
String html = EntityUtils.toString(entity, "utf-8");
这一行代码要执行很久 4-9s,我有什么办法把他加快吗
下面是EntityUtils.toString()的方法,包为
public static String toString(HttpEntity entity, Charset defaultCharset) throws IOException, ParseException {
Args.notNull(entity, "Entity");
InputStream instream = entity.getContent();
if (instream == null) {
return null;
} else {
try {
Args.check(entity.getContentLength() <= 2147483647L, "HTTP entity too large to be buffered in memory");
int i = (int)entity.getContentLength();
if (i < 0) {
i = 4096;
}
Charset charset = null;
try {
ContentType contentType = ContentType.get(entity);
if (contentType != null) {
charset = contentType.getCharset();
}
} catch (UnsupportedCharsetException var13) {
if (defaultCharset == null) {
throw new UnsupportedEncodingException(var13.getMessage());
}
}
if (charset == null) {
charset = defaultCharset;
}
if (charset == null) {
charset = HTTP.DEF_CONTENT_CHARSET;
}
Reader reader = new InputStreamReader(instream, charset);
CharArrayBuffer buffer = new CharArrayBuffer(i);
char[] tmp = new char[1024];
int l;
while((l = reader.read(tmp)) != -1) {
buffer.append(tmp, 0, l);
}
String var9 = buffer.toString();
return var9;
} finally {
instream.close();
}
}
}
如何抓取html请求,请求获取网页的response,获取网页的html 怎么那么慢相关推荐
- fiddler无法抓取chrome浏览器请求的解决方案之关闭代理软件
fiddler无法抓取chrome浏览器请求的解决方案之关闭代理软件 参考文章: (1)fiddler无法抓取chrome浏览器请求的解决方案之关闭代理软件 (2)https://www.cnblog ...
- 【Charles基础】Charles抓取微信小程序乱码,抓取指定的请求
问题: 在抓取微信小程序的接口时,会出现乱码的情况(抓取https) 解决方法: 1.点击 [工具栏-->Proxy-->SSL Proxying Settings...] 2.添加需求抓 ...
- 使用Fiddler和雷电模拟器抓取安卓https请求
使用Fiddler和雷电模拟器抓取安卓https请求 1.下载并安装Fiddler [Fiddler] https://www.telerik.com/download/fiddler 2. 打开Fi ...
- fiddler 抓取手机app请求包
今天心血来潮,也不知道怎么了,想着抓抓我们公司手机app的包看看,研究研究我们公司的接口,哎,我们api文档,我自己抓包看看吧.工具选择fiddler,理由免费,用着也舒服,手机设备 iPhone6 ...
- Fiddler抓取APP网络请求
安装Fiddler 一路next就行了. 配置Fiddler 1.允许解析https 2.允许抓取远程流量 3.配置只抓取app流量 4.关闭pc端防火墙或开通相关规则 Android端配置 1.配置 ...
- Chrome 无法抓取跳转请求的解决办法
原文 昨天在抓取 post 的登录请求时发现,在发出 post 请求之后,页面会进行跳转,这样就无法在 chrome 的开发人员工具中的 network 面板中查看到请求的具体信息. 点击登录按钮后, ...
- JAVA抓取通过JS渲染的网站(动态)网页数据
使用HtmlUnit获取html页面 HtmlUnit简介 官网介绍 HtmlUnit is a "GUI-Less browser for Java programs". It ...
- 如何用python抓取文献_浅谈Python爬虫技术的网页数据抓取与分析
浅谈 Python 爬虫技术的网页数据抓取与分析 吴永聪 [期刊名称] <计算机时代> [年 ( 卷 ), 期] 2019(000)008 [摘要] 近年来 , 随着互联网的发展 , 如何 ...
- python抓取股票数据_Python股票处理之一_获取国内股票数据
1. 安装支持库 $ pip install panda $ pip install tushare 2. 说明 Pandas是数据分析工具包 TuShare是国内股票数据抓取工具,除了股票的实时和历 ...
最新文章
- VSCode使用笔记
- java 负数变正数 +
- Java HotSpot VM 命令行参数【官方版】
- ICCV 2019 开源论文 | 基于元学习和AutoML的模型压缩新方法
- android按钮点击后闪退_CAD如何恢复自动崩溃、闪退的文件?
- SpringCloud微服务架构,Spring Cloud 服务治理(Eureka,Consul,Nacos),Ribbon 客户端负载均衡,RestTemplate与OpenFeign实现远程调用
- 1Python生成高质量Html文件:Pyh模块+Bootstrap框架
- c++的头文件与源文件
- Liveness 探测 - 每天5分钟玩转 Docker 容器技术(143)
- DELL XPS 9350 无线网卡DW1820A WIN7驱动异常解决
- JDBC、Tomcat为什么要破坏双亲委派模型?
- HOG特征提取算法解析
- 【转】搞清楚脚本中这些函数的调用规律
- 一个简单的姓名生成器
- 参考文献标准格式总结
- HTML高德地图标注,文本标记-点标记-示例中心-JS API 示例 | 高德地图API
- A*搜索算法AStar_BFS
- [linux] 命令输出不打印
- ecshop 2.7.2安装
- android 数据传递工具,AnyTrans for Android for Mac(安卓手机数据传输工具)
热门文章
- 开源服务器Tornado的初步了解
- .net生成文字图片
- 涂鸦WIFI模组方案(模组 SDK)
- java删除一级域名下cookie_java操作cookie示例(删除cookie)
- Java面试题之有没有有顺序的Map实现类,如果有,他们是怎么实现有序的?
- 自定义注解,aop实现注解锁
- Linux常用内建命令笔记
- 利用自定命令打开常用软件,小白秒变大神。
- python[进阶] 6.使用一等函数实现设计模式
- pb 插入报列在此处不_获取有关[在此处插入问题]的事实