NekoHTML学习笔记
NekoHTML 学习笔记
J. Andrew Clark 用Java写了一系列的工具 (Java APIs),NekoHTML 是其中之一。
NekoHTML 是一个简单地HTML扫描器和标签补偿器(tag balancer) ,使得程序能解析HTML文档并用标准的XML接口来访问其中的信息。这个解析器能投扫描HTML文件并“修正”许多作者(人或机器)在编写HTML文档过程中常犯的错误。NekoHTML 能增补缺失的父元素、自动用结束标签关闭相应的元素,以及不匹配的内嵌元素标签。NekoHTML 的开发使用了Xerces Native Interface (XNI),后者是Xerces2的实现基础。
一、运行要求
从NekoHTML 主页上下载nekohtml -latest.zip,目前版本是0.8.
NekoHTML 要求运行在java1.1或更高版本,Xerces-J 2.0或更高版本。(我在试用时,随便拿了个xerces的包来用,结果例如运行老时不能通过,折腾半天后才发现版本不够所致.:)
二、使用NekoHTML
1、透明地创建HTML解析器
利用Xerces2.0为基础,应用程序通过JAXP实例化解析器对象时,可以透明地创建HTML解析器,此时只需要将NekoHTML 的 jar文件,在CLASSPATH中放在Xerces的jar文件之前即可。nekohtmlXni.jar中的META-INF/services /org.apache.xerces.xni.parser.XMLParserConfiguration文件会被Xerces的读取并取代标准的设 置文件,此处org.apache.xerces.xni.parser.XMLParserConfiguration文件的内容就是一个字符串 “org.cyberneko.html.HTMLConfiguration”。这种方法的好处是简单透明,缺点是影响了Xerces在其它情况下的使 用。
2、便利的HTML解析器类
要想避免上述的问题,可以使用org.cyberneko.html.parsers包的DOM和SAX解 析器类来创建解析器,这两个类都使用了HTMLConfiguration类。解析器一旦创建之后,就可以解析HTML文件,并用标准的XML接口来访问 文件中的信息,就象面对的是一个XML文件一样。
下面的代码是NekoHTML 自带的例程,我改了一下,使其可以显示HTML文件内容,而不显示类的名字。
package sample;
import org.cyberneko.html.parsers.DOMParser; import org.w3c.dom.Document; import org.w3c.dom.Node;
public class TestHTMLDOM { public static void main(String[] argv) throws Exception { DOMParser parser = new DOMParser(); for (int i = 0; i < argv.length; i++) { parser.parse(argv[i]); print(parser.getDocument(), ""); } } public static void print(Node node, String indent) { // System.out.println(indent+node.getClass().getName()); if (node.getNodeValue() != null){ if("".equals(node.getNodeValue().trim())){ }else{ System.out.print(indent); System.out.println(node.getNodeValue()); } } Node child = node.getFirstChild(); while (child != null) { print(child, indent+" "); child = child.getNextSibling(); } } }
编译运行如下:
cp build_html.xml build.xml
ant
java -cp nekohtml .jar;nekohtmlSamples.jar;xmlParserAPIs.jar;xercesImpl.jar sample.TestHTMLDOM test.html
如果一切正常可以显示HTML的内容了。
3、文档 片段解析
除了DOM和SAX类,NekoHTML 还 提供了一个实验性质的DOMFragmentParser类,用以解析HTML文件的片段。我个人认为,由于浏览器的强大的容错能力,即使一个片段的 HTML文件,也可以正确显示,由此也变相地造成了很多人不再关心的HTML的完整要求了。这个类,也许将是用的最多的。下面,看看nutch是如何使用nekoHTML 的。
package net.nutch.fetcher; ... import org.cyberneko.html.parsers.*; import org.xml.sax.*; import org.w3c.dom.*; import org.w3c.dom.html.*; import org.apache.html.dom.*;
/* A simple fetcher. */ public class Fetcher { .... private DOMFragmentParser parser = new DOMFragmentParser(); .... private void handleFetch(URL url, FetchListEntry fle, Http.Response response) throws IOException, SAXException { //判断HTTP应答包的类型,只放过html文件 String contentType = response.getHeader("Content-Type"); if (contentType != null && !contentType.startsWith("text/html")) throw new IOException("Unknown content-type: " + contentType); //创建文件片段对象 DocumentFragment node = new HTMLDocumentImpl().createDocumentFragment(); //解析HTML内容 parser.parse(new InputSource(new ByteArrayInputStream(response.getContent())),node); //取得全部文本内容 StringBuffer sb = new StringBuffer(); getText(sb, node); String text = sb.toString(); //取得标题信息 sb.setLength(0); getTitle(sb, node); String title = sb.toString().trim(); //取得该页所有的出链 ArrayList l = new ArrayList(); getOutlinks(url, l, node); //显示结果,存储信息 Outlink[] outlinks = (Outlink[])l.toArray(new Outlink[l.size()]); LOG.fine("found " + outlinks.length + " outlinks in " + url);
outputPage(new FetcherOutput(fle, MD5Hash.digest(response.getContent()), true, title, outlinks), new FetcherContent(response.getContent()), new FetcherText(text)); } private static void getText(StringBuffer sb, Node node) { if (node.getNodeType() == Node.TEXT_NODE) { sb.append(node.getNodeValue());//取得结点值,即开始与结束标签之间的信息 } NodeList children = node.getChildNodes(); if ( children != null ) { int len = children.getLength(); for ( int i = 0; i < len; i++ ) { getText(sb, children.item(i));//递归遍历DOM树 } } }
private static boolean getTitle(StringBuffer sb, Node node) { if (node.getNodeType() == Node.ELEMENT_NODE) { if ("title".equalsIgnoreCase(node.getNodeName())) { getText(sb, node); return true; } } NodeList children = node.getChildNodes(); if (children != null) { int len = children.getLength(); for (int i = 0; i < len; i++) { if (getTitle(sb, children.item(i))) { return true; } } } return false; }
private static void getOutlinks(URL base, ArrayList outlinks, Node node) { if (node.getNodeType() == Node.ELEMENT_NODE) { if ("a".equalsIgnoreCase(node.getNodeName())) { StringBuffer linkText = new StringBuffer(); getText(linkText, node);
NamedNodeMap attrs = node.getAttributes(); String target= null; for (int i= 0; i < attrs.getLength(); i++ ) { if ("href".equalsIgnoreCase(attrs.item(i).getNodeName())) { target= attrs.item(i).getNodeValue();//在DOM树中,属性是一个结点。 break; } } if (target != null) try { URL url = new URL(base, target); outlinks.add(new Outlink(url.toString(),linkText.toString().trim())); } catch (MalformedURLException e) { // don't care } } } NodeList children = node.getChildNodes(); if ( children != null ) { int len = children.getLength(); for ( int i = 0; i < len; i++ ) { getOutlinks(base, outlinks, children.item(i));//递归遍历DOM树 } } } .... }
注意,此处传递给解析过程parse的文档片段对象,必须是由org.w3c.dom.html.HTMLDocument类型的DOM文档对象创建,否则有异常。
HTMLConfiguration可以用于创建任何基于XNI解析器,可参考下例
package sample;
import org.apache.xerces.parsers.AbstractSAXParser; import org.cyberneko.html.HTMLConfiguration;
public class HTMLSAXParser extends AbstractSAXParser { public HTMLSAXParser() { super(new HTMLConfiguration()); } }
三、设置解析器参数
为了更加精确的控制解析的动作,nekohtml 提供了相应的设置函数。如下列:
// settings on HTMLConfiguration org.apache.xerces.xni.parser.XMLParserConfiguration config =new org.cyberneko.html.HTMLConfiguration(); config.setFeature("http://cyberneko.org/html/features/augmentations", true); config.setProperty("http://cyberneko.org/html/properties/names/elems", "lower");
// settings on DOMParser org.cyberneko.html.parsers.DOMParser parser = new org.cyberneko.html.parsers.DOMParser(); parser.setFeature("http://cyberneko.org/html/features/augmentations", true); parser.setProperty("http://cyberneko.org/html/properties/names/elems", "lower");
nekohtml 功能(feature)列表
功能 | 默认值 | 描述 |
http://cyberneko.org/html/features/balance-tags | True | 是否允许增补缺失的标签。如果要以XML方式操作HTML文件,此值必须为真。此处提供设置功能,为了性能的原因。 |
http://cyberneko.org/html/features/balance-tags/ignore-outside-content | False | 是否忽略文档根元素以后的数据。如果为false,<html>和<bod>被忽略,所有的内容都被解析。 |
http://cyberneko.org/html/features/document-fragment | False | 解析HTML片段时是否作标签增补。此功能不要用在DOMParser上,而要用在DOMFragmentParser上。 |
http://apache.org/xml/features/scanner/notify-char-refs | False | 当遇到字符实体引用(如&#x20;)是否将(#x20)报告给相应地文档处理器。 |
http://apache.org/xml/features/scanner/notify-builtin-refs | False | 当遇到XML内建的字符实体引用(如&amp;)是否将(amp)报告给相应地文档处理器。 |
http://cyberneko.org/html/features/scanner/notify-builtin-refs | False | 当遇到HTML内建的字符实体引用(如&copy;)是否将(copy)报告给相应地文档处理器。 |
http://cyberneko.org/html/features/scanner/script/strip-comment-delims | False | 是否剥掉<script>元素中的<!-- -->等注释符。 |
http://cyberneko.org/html/features/augmentations | False | 是否将与HTML事件有关的infoset项包括在解析管道中。 |
http://cyberneko.org/html/features/report-errors | False | 是否报告错误。 |
nekohtml 属性列表
属性 | 默认值 | 值域 | 描述 |
http://cyberneko.org/html/properties/filters | null | XMLDocumentFilter[] | 在解析管道的最后按数组顺序追加自定义的处理组件(过滤器),必须为数组类型。 |
http://cyberneko.org/html/properties/default-encoding | Windows-1252 | IANA encoding names | 默认的HTML文件编码 |
http://cyberneko.org/html/properties/names/elems | upper | upper,lower,match | 如果整理识别出的元素名称 |
http://cyberneko.org/html/properties/names/attrs | lower | upper,lower,no-change | 如果整理识别出的属性名称 |
四、管道过滤器
Xerces Native Interface (XNI)定义了一个解析器配置框架,在那儿一个个解析器以模块化组件的形式组成一个管道。这样一来,通过重新安排已有组件和/或新定制开发的组件,就可完成一个新的解析器配置工作。由于nekohtml 是采用这个配置框架开发的,所以对解析器新增功能就很简单通过在默认的nekohtml 解析管道的末端增加文档过滤器来实现。
要新开发一个过滤器,很简单地实现xerces2的org.apache.xerces.xni.parser包中的XMLDocumentFilter接口即可。这个接口,一方面使组件成为管道中上一级的事件处理器,另一方面又成为下级的信息源。针对nekohtml 的过滤器开发,只需简单地扩展org.cyberneko.html.filters包中的DefaultFilter类即可。
将自行开发的过滤器加入管道,可参考以下两种办法:
XMLDocumentFilter noop = new DefaultFilter(); XMLDocumentFilter[] filters = { noop };
XMLParserConfiguration parser = new HTMLConfiguration(); parser.setProperty("http://cyberneko.org/html/properties/filters", filters);
nekohtml 的org.cyberneko.html.filters 包中有DefaultFilter、
ElementRemover、Identity、Writer,能实现动态插入内容、删除元素、序列化HTML文档等,不详细述。
NekoHTML学习笔记相关推荐
- PyTorch 学习笔记(六):PyTorch hook 和关于 PyTorch backward 过程的理解 call
您的位置 首页 PyTorch 学习笔记系列 PyTorch 学习笔记(六):PyTorch hook 和关于 PyTorch backward 过程的理解 发布: 2017年8月4日 7,195阅读 ...
- 容器云原生DevOps学习笔记——第三期:从零搭建CI/CD系统标准化交付流程
暑期实习期间,所在的技术中台-效能研发团队规划设计并结合公司开源协同实现符合DevOps理念的研发工具平台,实现研发过程自动化.标准化: 实习期间对DevOps的理解一直懵懵懂懂,最近观看了阿里专家带 ...
- 容器云原生DevOps学习笔记——第二期:如何快速高质量的应用容器化迁移
暑期实习期间,所在的技术中台-效能研发团队规划设计并结合公司开源协同实现符合DevOps理念的研发工具平台,实现研发过程自动化.标准化: 实习期间对DevOps的理解一直懵懵懂懂,最近观看了阿里专家带 ...
- 2020年Yann Lecun深度学习笔记(下)
2020年Yann Lecun深度学习笔记(下)
- 2020年Yann Lecun深度学习笔记(上)
2020年Yann Lecun深度学习笔记(上)
- 知识图谱学习笔记(1)
知识图谱学习笔记第一部分,包含RDF介绍,以及Jena RDF API使用 知识图谱的基石:RDF RDF(Resource Description Framework),即资源描述框架,其本质是一个 ...
- 计算机基础知识第十讲,计算机文化基础(第十讲)学习笔记
计算机文化基础(第十讲)学习笔记 采样和量化PictureElement Pixel(像素)(链接: 采样的实质就是要用多少点(这个点我们叫像素)来描述一张图像,比如,一幅420x570的图像,就表示 ...
- Go 学习推荐 —(Go by example 中文版、Go 构建 Web 应用、Go 学习笔记、Golang常见错误、Go 语言四十二章经、Go 语言高级编程)
Go by example 中文版 Go 构建 Web 应用 Go 学习笔记:无痕 Go 标准库中文文档 Golang开发新手常犯的50个错误 50 Shades of Go: Traps, Gotc ...
- MongoDB学习笔记(入门)
MongoDB学习笔记(入门) 一.文档的注意事项: 1. 键值对是有序的,如:{ "name" : "stephen", "genda" ...
- NuGet学习笔记(3) 搭建属于自己的NuGet服务器
文章导读 创建NuGetServer Web站点 发布站点到IIS 添加本地站点到包包数据源 在上一篇NuGet学习笔记(2) 使用图形化界面打包自己的类库 中讲解了如何打包自己的类库,接下来进行最重 ...
最新文章
- python文本去重_Python做文本按行去重的实现方法
- 为什么字节跳动选择使用 Go 语言?
- 用C#抓取AJAX页面的内容
- iOS实现经典登录页面,手机号自动格式化
- filecoin白皮书_【Filecoin挖矿小知识】在lotus开发网上可以参与Filecoin挖矿吗?
- 修改mysql用户家目录,Linux 更改MySQL目录
- 深度优先算法解决有向有权图的最短路径问题
- Android开发遇到的异常及解决办法
- 318.最大单词长度乘积
- USB转TTL连接ESP01S
- Rhino使JavaScript应用程序更灵动
- 机械电钢琴音源 Cinesamples Keyboard In Blue Kontakt
- Linux工具参考篇(网摘)
- hnust Snowman
- InnoDB一棵B+树可以存放多少行数据?
- requests爬取链家网房源数据
- NoSql的四大类型
- 软件测试工程实训综合管理平台
- 第一课 丰富的社会生活
- html用字符转换成表情,HTML表情符号
热门文章
- hbase mysql hdfs_Alex的Hadoop菜鸟教程:第8课Sqoop1导入Hbase以及Hive
- PhpStorm WebStorm IDEA 官方汉化插件
- matlab画圆的命令_matlab 如何画圆
- PDF文件打开密码解密
- python库手册_Python 中文开发手册
- 一篇文章搞懂数据仓库:元数据分类、元数据管理
- 特色租房管理系统/租房管理系统/房屋租赁管理系统
- 三步教你手动破解网易云音乐加密
- 《Linux/UNIX系统编程手册》推荐
- java gb28181网关_国标GB28181协议对接网关