python java 爬数据_如何用java爬虫爬取网页上的数据

当我们使用浏览器处理网页的时候，有时候是不需要浏览的，例如使用PhantomJS适用于无头浏览器，进行爬取网页数据操作。最近在进行java爬虫学习的小伙伴们有没有想过如何爬取js生成的网络页面吗？别急，本文小编将向大家介绍。

1、PhantomJS的功能

提供一个浏览器环境的命令行接口，除了不能浏览，其他与正常浏览器一样。它的内核是WebKit引擎，不提供图形界面，只能在命令行下使用。

2、PhantomJS用途

适用范围就是无头浏览器的适用范围。通常无头浏览器可以用于页面自动化和网络爬虫等。

页面自动化测试：希望自动的登陆网站并做一些操作然后检查结果是否正常。

网络爬虫：获取页面中使用js来下载和渲染信息，或者是获取链接处使用js来跳转后的真实地址。

3、对于使用PhantomJS编写的parser.js文件调用java爬虫爬取网页数据Runtime rt = Runtime.getRuntime();

Process process = null;

try {

process = rt.exec("C:/phantomjs.exe C:/parser.js " +url);

InputStream in = process.getInputStream();

InputStreamReader reader = new InputStreamReader(in, "UTF-8");

BufferedReader br = new BufferedReader(reader);

StringBuffer sbf = new StringBuffer();

String tmp = "";

while ((tmp = br.readLine()) != null) {

sbf.append(tmp);

}

return sbf.toString();

} catch (IOException e) {

e.printStackTrace();

}

return null;

以上就是对PhantomJS简单介绍，以及使用java爬虫爬取PhantomJS编写的网络页面进行爬虫数据的代码实现，希望能对你有所帮助哦~更多java推荐：java教程。

python java 爬数据_如何用java爬虫爬取网页上的数据相关推荐

stata抓取html,（5）详解 stata 爬虫抓取网页上的数据 part 1
*案例:抓取 http://www.tjcn.org 中国统计信息网上前50页(每页包含20个市的数据)的1000个地区的GDP数据.使用stata版本为 stata13,与12版本和14版本都不兼容 ...
cookie追加数据_集算器 SPL 抓取网页数据
[摘要] 集算器 SPL 支持抓取网页数据,根据抓取定义规则,可将网页数据下载到在本地进行统计分析.具体定义规则要求.使用详细情况,请前往乾学院:集算器 SPL 抓取网页数据! 网站上的数据源是我们进 ...
c语言编程网页数据提取,怎么用c语言抓取网页中的数据
当前位置:我的异常网» C语言 » 怎么用c语言抓取网页中的数据怎么用c语言抓取网页中的数据 www.myexceptions.net 网友分享于:2013-07-17 浏览:390次如何用c ...
java html提取_如何用JAVA从HTML源代码中提取有用的文本信息？
如将连接中的流读取出来方法:/** * 将网页上的数据流转成字符串 * * @param url * @return * @throws IOError */ public String getSou ...
java 判断手机号_如何用java判断手机号运营商?
如何用java实现判断手机号的运营商?因为每个号段都是工信部规定划分给指定运营商的,所以我们可以通过手机号码的号段来判断. 现在手机号的号段那么多,要怎样方便的的判断呢?于是我们就想到了正则表达式,在 ...
【视频教程】利用Excel轻松爬取网页上的数据
说到从网上抓取数据,大多数人马上想到的就是Python,但是有的时候不用Python也可以搞定.今天给大家分享一篇如何利用Excel抓取网站上我们所需要的多页数据. 如抓取新浪财经股票页面中的2019 ...
java 字符串加密_如何用JAVA实现字符串简单加密解密？
展开全部 java加密字符串可以使用des加密算法62616964757a686964616fe4b893e5b19e31333363376462,实例如下: package test; import ...
java 字符串加密_如何用JAVA实现字符串简单加密解密？
展开全部 java加密字符串可以使用des加密算法,实例如62616964757a686964616fe59b9ee7ad9431333337616636下: package test; import ...
java dwg文件_如何用java实现dwg的预览图？
网上有c#,但实在不知道该如何转换. public class ViewDWG { //C# TO JAVA CONVERTER WARNING: Java does not allow user-d ...

python java 爬数据_如何用java爬虫爬取网页上的数据

python java 爬数据_如何用java爬虫爬取网页上的数据相关推荐

最新文章

热门文章