爬取虎牙之二：试用htmlunit模拟js爬取ajax页面

jsoup无法爬取动态的ajax界面，百度了许久之后有人说htmlunit等爬虫工具可以支持模拟浏览器行为，百度上查了htmlunit的简单用法，爬取虎牙直播分栏的js链接。模拟点击。获取点击后的下一个页面。
有人说用htmlunit获取不到ajax的页面，答案是错误的，用htmlunit可以获取点击后的页面源码，但是使用很有条件，对于输出。他只能打印一个js行为，也就是如果你界面上有多喝动态生成的页面按钮比如2.3.4**下一个。你要做的只能选择一个。如果想选择遍历所有，看来还是要选择下一页，然后将下一页再从新执行同样的操作（我没有这样试过不知道行不行，我用的是另外方法）。想想就很烦，并且htmlunit加载js很慢，如果爬取效率特别低。但是代码以及测试简单给大家：
有个重要点就是一定要有thread.sleep();可能js执行慢需要反应吧，没有这句话会经常抓不到。

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlAnchor;
import com.gargoylesoftware.htmlunit.html.HtmlPage;public class HTMLunit {public static void main(String[] args) throws IOException, InterruptedException{final WebClient webClient = new WebClient(BrowserVersion.CHROME);webClient.getOptions().setTimeout(2000);//webClient.getOptions().getTimeout();webClient.getOptions().setJavaScriptEnabled(true);webClient.getOptions().setThrowExceptionOnScriptError(false);    webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);webClient.getOptions().setActiveXNative(false); webClient.getOptions().setCssEnabled(false);
// webClient.waitForBackgroundJavaScript(600*1000); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); HtmlPage page=webClient.getPage("https://www.huya.com/g/wzry");   Listanchors=page.getAnchors();//System.out.println(anchors);Listjsanchors=new ArrayList();for(HtmlAnchor anchor:anchors){ String href=anchor.getAttribute("href");/** 抓取js的链接*/if(href.startsWith("javascript:")){                      {jsanchors.add(anchor);}}else if("#".equals(href)){if(anchor.hasAttribute("onclick")){jsanchors.add(anchor);}}}HtmlAnchor t1=jsanchors.get(0);HtmlPage newpage=t1.click();Thread.sleep(1000);System.out.println(newpage.asText());
//  for(HtmlAnchor anchor:jsanchors)
//  {
//       /*
//       * 这段话会失败，因为htmlunit只能执行一次 会输出相同页
//       */
//      Thread.sleep(600);
//      HtmlPage newpage=anchor.click();
//      Thread.sleep(600);
//      System.out.print(newpage.asText());
//
//  }       }
}

输出：

大乔
孙膑
可筛选热门英雄啦！
美女 质量局
来一波5排好撒 Song 1623
绝迹国一Pro程，单排上王者～ 寒夜 1533
单排只用小乔-契约之战-狂铁 东辰-子轩 1527
我真的不da野，是野怪先动的手 LYG丶七鱼 1517
国服刘备，一天一个王者 袖天-狠人 1499
小贱;赔钱虎野区霸主 钻上星耀上王者 东辰-小贱 1497
新秀happy：中午跟佳哥，天才哥打五排 happy 1494

虽然这种方式不太好，但是也能将就抓取小数据。也算是成功模拟了吧。
对于这种低效率，出错大的抓取方式抓取大规模数据肯定是不行的。那么下篇就讲解如何抓取json文件（后台传来的数据源文件）。
如果对后端、爬虫等感性趣欢迎关注我的个人公众号交流：bigsai

爬取虎牙之二：试用htmlunit模拟js爬取ajax页面相关推荐

HttpClient模拟登录、HtmlUnit模拟登录，jsoup爬取登录后的内容（不带验证码）
一.HttpClient模拟登录是通过post或get请求,登录后抓取的是静态页面,动态页面使用HtmlUnit public static void main(String[] args) thro ...
爬取虎牙直播图片的代码分析
爬取虎牙直播图片的分析文章目录爬取虎牙直播图片的分析一.直接放源码二.代码分析总结一.直接放源码 import requests from lxml import etree url='h ...
java爬取button_学习使用Java的webmagic框架爬取网页内容
(一)使用前的配置: 2,(1)添加依赖: us.codecraft webmagic-core 0.7.3 us.codecraft webmagic-extension 0.7.3 us.code ...
node.js抓取网络图片保存到本地,node.js抓取防盗链网络图片保存到本地
node.js抓取网络图片保存到本地,node.js抓取防盗链网络图片保存到本地使用模块request.fs,request模块在npm里平均月下载量超过3000W次,那是相当的牛逼. node版本 ...
自从学会：用Python爬取虎牙颜值区美女主播照片后，身体一天不如一天
本次干货内容给大家呈现的利用爬虫获取海量美女图片.不知道大家有没有上过斗鱼直播.虎牙直播,直播室里面美女姐姐可是比比皆是. 有很多美女姐姐的图片做桌面,即使加班也是高兴的! 好啦!先唠叨一下爬虫的步骤 ...
原生爬虫爬取虎牙绝地求生直播热度排行榜
原生爬虫爬取虎牙绝地求生直播热度排行榜首先需要相应的知识储备: (1)import 导入方法 (2)面向对象思想 (3)for循环运用 (4)正则表达式 (5)lambda方法的应用本次原生爬虫爬 ...
爬取虎牙之三：通过json数据获取所有直播情况
动态ajax页面为什么会再同一个页面有多个分页,就是因为当你点击其他页的时候服务器返回一串json串,js执行json参数达到改变页面效果.下面说说如何抓取json串. 1:爬取信息要对源页有所了解, ...
第26讲：模拟登录爬取实战案例
在上一课时我们了解了网站登录验证和模拟登录的基本原理.网站登录验证主要有两种实现,一种是基于 Session + Cookies 的登录验证,另一种是基于 JWT 的登录验证,那么本课时我们就通过两个 ...
2021春项目需求记录 python实现模拟登录+爬取NASA Modis 上的产品数据
python实现模拟登录+爬取Nasa Modis 上的产品数据概述需求分析基本思路代码概述 3月的中旬时候参与了学校的一个大创项目,作为本科生,本人只是摸鱼打杂,负责了其中的一个功能模块: ...

爬取虎牙之二：试用htmlunit模拟js爬取ajax页面

爬取虎牙之二：试用htmlunit模拟js爬取ajax页面相关推荐

最新文章

热门文章