优酷电视剧爬虫代码实现一：下载解析视频网站页面(3)补充知识点：htmlcleaner使用案例...

htmlcleaner 下载地址：htmlcleaner2_1.jar 源码下载：htmlcleaner2_1-all.zip

写一个测试用的html文件：html-clean-demo.html

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd " >
< html xmlns = "http://www.w3.org/1999/xhtml " xml:lang = "zh-CN" dir = "ltr" >
< head >
< meta http-equiv = "Content-Type" content = "text/html; charset=GBK" />
< meta http-equiv = "Content-Language" content = "zh-CN" />
< title > html clean demo </ title >
</ head >
< body >
< div class = "d_1" >
< ul >
< li > bar </ li >
< li > foo </ li >
< li > gzz </ li >
</ ul >
</ div >
< div >
< ul >
< li > < a name = "my_href" href = "1.html" > text-1 </ a > </ li >
< li > < a name = "my_href" href = "2.html" > text-2 </ a > </ li >
< li > < a name = "my_href" href = "3.html" > text-3 </ a > </ li >
< li > < a name = "my_href" href = "4.html" > text-4 </ a > </ li >
</ ul >
</ div >
</ body >
</ html >

模拟需求：取出title，name="my_href" 的链接，div的class="d_1"下的所有li内容。下面用htmlcleaner写代码，HtmlCleanerDemo.java

package com.chenlb;
import java.io.File;
import org.htmlcleaner.HtmlCleaner;
import org.htmlcleaner.TagNode;
/**
* htmlcleaner 使用示例.
*
* @author chenlb 2008-11-26 下午02:12:02
*/
public class HtmlCleanerDemo {
public static void main(String[] args) throws Exception {
HtmlCleaner cleaner = new HtmlCleaner();
TagNode node = cleaner.clean(new File( "html/html-clean-demo.html" ), "GBK");
//按tag取.
Object[] ns = node.getElementsByName("title" , true ); //标题
if (ns.length > 0 ) {
System.out.println("title=" +((TagNode)ns[ 0 ]).getText());
}
System.out.println("ul/li:" );
//按xpath取
ns = node.evaluateXPath("//div[@class='d_1']//li" );
for (Object on : ns) {
TagNode n = (TagNode) on;
System.out.println("\ttext=" +n.getText());
}
System.out.println("a:" );
//按属性值取
ns = node.getElementsByAttValue("name" , "my_href" , true , true );
for (Object on : ns) {
TagNode n = (TagNode) on;
System.out.println("\thref=" +n.getAttributeByName( "href" )+ ", text=" +n.getText());
}
}
}

cleaner.clean()中的参数，可以是文件，可以是url，可以是字符串内容。个人认为：比较常用的应该是evaluateXPath、 getElementsByAttValue、getElementsByName方法了。另外说明下，htmlcleaner 对不规范的html兼容性比较好。

转载于:https://www.cnblogs.com/lchzls/p/6282704.html

优酷电视剧爬虫代码实现一：下载解析视频网站页面(3)补充知识点：htmlcleaner使用案例...相关推荐

爬虫概念与编程学习之如何爬取视频网站页面（三）
先看,前一期博客,理清好思路. 爬虫概念与编程学习之如何爬取网页源代码(一) 爬虫概念与编程学习之如何爬取视频网站页面(用HttpClient)(二) 不多说,直接上代码. 编写代码运行 <! ...
40行代码教你爬遍小视频网站
/1 前言/ 还在为在线看小视频缓存慢发愁吗?还在为想重新回味优秀作品但找不到资源而忧虑吗?莫要慌,让python来帮你解决,40行代码教你爬遍小视频网站,先批量下载后仔细观看,岂不美哉! /2 整理 ...
kux转换为mp4软件_kux2mp4(优酷kux转换为mp4软件)下载-kux2mp4(优酷kux转换为mp4软件)免费版下载v2021...
喜欢使用优酷看视频的小伙伴们会发现在优酷上面下载下来的视频格式是kux的,在其它的地方几乎不能正常播放,这种情况可以使用这款kux2mp4软件进行视频格式的转换,可以快速将kux转换为常用的mp4格式 ...
优酷分享html代码,优酷视频自适应移动版网页方案
在网页中插入视频之后,存在一个问题,就是移动版网页的视频自适应小窗口. 本文用优酷来举例,优酷的每个视频页面,都给我们提供了直接对视频内容进行分享的链接,视频插入网页很容易,但是此网页的移动版在显示视 ...
获取优酷网、土豆网、56网的视频缩略图
优酷网: http://v.youku.com/player/getPlayList/VideoIDS/XNzYxNTYzMDY4/timezone/+08/version/5/source/out? ...
程序员不是Loser 质疑优酷《小酒窝吐槽程序员》视频
视频地址:http://v.youku.com/v_show/id_XNjczMDM0NTI0.html1543318452 近期,优酷精选推出的<小酒窝搞笑吐槽程序员>视频,让程序员们觉 ...
php获取视频信息，支持优酷土豆新浪腾讯等多家网站
video.php类 <?php /** * 解析视频信息类 * * 支持优酷, 土豆酷6 56 新浪 qq播客乐视乐视 **/class class_video{// 超时时间va ...
爬虫概念与编程学习之如何爬取视频网站页面（用HttpClient）（二）
编写代码运行 <!DOCTYPE html><html><head><meta http-equiv="X-UA-Compatible" ...
影视网站设计报告代码MySQL_基于PHP的视频网站的设计与实现(MySQL)(含录像)
基于PHP的视频网站的设计与实现(MySQL)(含录像)(毕业论文10000字,程序代码,MySQL数据库) 本研究的视频网站基于当前较为流行的B/S结构,采用PHP技术和MYSQL数据库进行开发设计 ...

优酷电视剧爬虫代码实现一：下载解析视频网站页面(3)补充知识点：htmlcleaner使用案例...

优酷电视剧爬虫代码实现一：下载解析视频网站页面(3)补充知识点：htmlcleaner使用案例...相关推荐

最新文章

热门文章