第七章到达哲学

原文：Chapter 7 Getting to Philosophy

译者：飞龙

协议：CC BY-NC-SA 4.0

自豪地采用谷歌翻译

本章的目标是开发一个 Web 爬虫，它测试了第 6.1 节中提到的“到达哲学”猜想。

7.1 起步

在本书的仓库中，你将找到一些帮助你起步的代码：

WikiNodeExample.java包含前一章的代码，展示了 DOM 树中深度优先搜索（DFS）的递归和迭代实现。
WikiNodeIterable.java包含Iterable类，用于遍历 DOM 树。我将在下一节中解释这段代码。
WikiFetcher.java包含一个工具类，使用jsoup从维基百科下载页面。为了帮助你遵守维基百科的服务条款，此类限制了你下载页面的速度；如果你每秒请求许多页，在下载下一页之前会休眠一段时间。
WikiPhilosophy.java包含你为此练习编写的代码的大纲。我们将在下面进行说明。

你还会发现 Ant 构建文件build.xml。如果你运行ant WikiPhilosophy，它将运行一些简单的启动代码。

7.2 可迭代对象和迭代器

在前一章中，我展示了迭代式深度优先搜索（DFS），并且认为与递归版本相比，迭代版本的优点在于，它更容易包装在Iterator对象中。在本节中，我们将看到如何实现它。

如果你不熟悉Iterator和Iterable接口，你可以阅读 http://thinkdast.com/iterator 和 http://thinkdast.com/iterable。

看看WikiNodeIterable.java的内容。外层的类WikiNodeIterable实现Iterable<Node>接口，所以我们可以在一个for循环中使用它：

Node root = ...
Iterable<Node> iter = new WikiNodeIterable(root);
for (Node node: iter) {visit(node);
}

其中root是我们想要遍历的树的根节点，并且visit是一个方法，当我们“访问”Node时，做任何我们想要的事情。

WikiNodeIterable的实现遵循以下惯例：

构造函数接受并存储根Node的引用。
iterator方法创建一个返回一个Iterator对象。

这是它的样子：

public class WikiNodeIterable implements Iterable<Node> {private Node root;public WikiNodeIterable(Node root) {this.root = root;}@Overridepublic Iterator<Node> iterator() {return new WikiNodeIterator(root);}
}

内层的类WikiNodeIterator，执行所有实际工作。

private class WikiNodeIterator implements Iterator<Node> {Deque<Node> stack;public WikiNodeIterator(Node node) {stack = new ArrayDeque<Node>();stack.push(root);}@Overridepublic boolean hasNext() {return !stack.isEmpty();}@Overridepublic Node next() {if (stack.isEmpty()) {throw new NoSuchElementException();}Node node = stack.pop();List<Node> nodes = new ArrayList<Node>(node.childNodes());Collections.reverse(nodes);for (Node child: nodes) {stack.push(child);}return node;}
}

该代码与 DFS 的迭代版本几乎相同，但现在分为三个方法：

构造函数初始化栈（使用一个ArrayDeque实现）并将根节点压入这个栈。
isEmpty检查栈是否为空。
next从Node栈中弹出下一个节点，按相反的顺序压入子节点，并返回弹出的Node。如果有人在空Iterator上调用next，则会抛出异常。

可能不明显的是，值得使用两个类和五个方法，来重写一个完美的方法。但是现在我们已经完成了，在需要Iterable的任何地方，我们可以使用WikiNodeIterable，这使得它的语法整洁，易于将迭代逻辑（DFS）与我们对节点的处理分开。

7.3 `WikiFetcher`

编写 Web 爬虫时，很容易下载太多页面，这可能会违反你要下载的服务器的服务条款。为了帮助你避免这种情况，我提供了一个WikiFetcher类，它可以做两件事情：

它封装了我们在上一章中介绍的代码，用于从维基百科下载页面，解析 HTML 以及选择内容文本。
它测量请求之间的时间，如果我们在请求之间没有足够的时间，它将休眠直到经过了合理的间隔。默认情况下，间隔为1秒。

这里是WikiFetcher的定义：

public class WikiFetcher {private long lastRequestTime = -1;private long minInterval = 1000;/*** Fetches and parses a URL string, * returning a list of paragraph elements.** @param url* @return* @throws IOException*/public Elements fetchWikipedia(String url) throws IOException {sleepIfNeeded();Connection conn = Jsoup.connect(url);Document doc = conn.get();Element content = doc.getElementById("mw-content-text");Elements paragraphs = content.select("p");return paragraphs;}private void sleepIfNeeded() {if (lastRequestTime != -1) {long currentTime = System.currentTimeMillis();long nextRequestTime = lastRequestTime + minInterval;if (currentTime < nextRequestTime) {try {Thread.sleep(nextRequestTime - currentTime);} catch (InterruptedException e) {System.err.println("Warning: sleep interrupted in fetchWikipedia.");}}}lastRequestTime = System.currentTimeMillis();}
}

唯一的公共方法是fetchWikipedia，接收String形式的 URL，并返回一个Elements集合，该集合包含的一个 DOM 元素表示内容文本中每个段落。这段代码应该很熟悉了。

新的代码是sleepIfNeeded，它检查自上次请求以来的时间，如果经过的时间小于minInterval（毫秒），则休眠。

这就是WikiFetcher全部。这是一个演示如何使用它的例子：

WikiFetcher wf = new WikiFetcher();for (String url: urlList) {Elements paragraphs = wf.fetchWikipedia(url);processParagraphs(paragraphs);
}

在这个例子中，我们假设urlList是一个String的集合，并且processParagraphs是一个方法，对Elements做一些事情，它由fetchWikipedia返回。

此示例展示了一些重要的东西：你应该创建一个WikiFetcher对象并使用它来处理所有请求。如果有多个WikiFetcher的实例，则它们不会确保请求之间的最小间隔。

注意：我的WikiFetcher实现很简单，但是通过创建多个实例，人们很容易误用它。你可以通过制作WikiFetcher“单例” 来避免这个问题，你可以阅读 http://thinkdast.com/singleton。

7.4 练习 5

在WikiPhilosophy.java中，你会发现一个简单的main方法，展示了如何使用这些部分。从这个代码开始，你的工作是写一个爬虫：

获取维基百科页面的 URL，下载并分析。
它应该遍历所得到的 DOM 树来找到第一个有效的链接。我会在下面解释“有效”的含义。
如果页面没有链接，或者如果第一个链接是我们已经看到的页面，程序应该指示失败并退出。
如果链接匹配维基百科页面上的哲学网址，程序应该提示成功并退出。
否则应该回到步骤1。

该程序应该为它访问的 URL 构建List，并在结束时显示结果（无论成功还是失败）。

那么我们应该认为什么是“有效的”链接？你在这里有一些选择各种版本的“到达哲学”推测使用略有不同的规则，但这里有一些选择：

这个链接应该在页面的内容文本中，而不是侧栏或弹出框。
它不应该是斜体或括号。
你应该跳过外部链接，当前页面的链接和红色链接。
在某些版本中，如果文本以大写字母开头，则应跳过链接。

你不必遵循所有这些规则，但我们建议你至少处理括号，斜体以及当前页面的链接。

如果你有足够的信息来起步，请继续。或者你可能想要阅读这些提示：

当你遍历树的时候，你将需要处理的两种Node是TextNode和Element。如果你找到一个Element，你可能需要转换它的类型，来访问标签和其他信息。
当你找到包含链接的Element时，通过向上跟踪父节点链，可以检查是否是斜体。如果父节点链中有一个<i>或<em>标签，链接为斜体。
为了检查链接是否在括号中，你必须在遍历树时扫描文本，并跟踪开启和闭合括号（理想情况下，你的解决方案应该能够处理嵌套括号（像这样））。

如果你从 Java 页面开始，你应该在跟随七个链接之后到达哲学，除非我运行代码后发生了改变。

好的，这就是你所得到的所有帮助。现在全靠你了。玩的开心！

数据结构思维第七章到达哲学相关推荐

数据结构思维第六章树的遍历
第六章树的遍历原文:Chapter 6 Tree traversal 译者:飞龙协议:CC BY-NC-SA 4.0 自豪地采用谷歌翻译本章将介绍一个 Web 搜索引擎,我们将在本书其余部分开 ...
【数据结构】第七章查找
第七章查找目录第七章查找 7.1 基本概念 7.2 顺序查找和折半查找一.顺序查找二.折半查找三.分块查找 7.3 树形查找一.二叉排序树(BST) 定义查找具体值的代码实现插入 ...
《数据结构》-第七章查找(知识点总结)
第七章查找本章开始介绍关于前几章这些数据结构的相应的运算-查找.关于查找的不同算法为每年考试考查的重点,主要分为线性结构的查找.树形结构的查找.散列结构的查找及字符串模式匹配,同时分析各个查找方法 ...
【算法基础】数据结构导论第七章-排序.pptx
上课的课件分享,适合教学用. 文末提供下载已发布: 数据结构导论第一章-绪论数据结构导论第二章-线性表数据结构导论第三章-栈.队列和数组数据结构导论第四章-树数据结构导论第五章-图数据结构 ...
数据结构思维第十三章二叉搜索树
第十三章二叉搜索树原文:Chapter 13 Binary search tree 译者:飞龙协议:CC BY-NC-SA 4.0 自豪地采用谷歌翻译本章介绍了上一个练习的解决方案,然后测试树 ...
数据结构思维第十一章 `HashMap`
第十一章 HashMap 原文:Chapter 11 HashMap 译者:飞龙协议:CC BY-NC-SA 4.0 自豪地采用谷歌翻译上一章中,我们写了一个使用哈希的Map接口的实现.我们期望这 ...
数据结构思维第十七章排序
第十七章排序原文:Chapter 17 Sorting 译者:飞龙协议:CC BY-NC-SA 4.0 自豪地采用谷歌翻译计算机科学领域过度痴迷于排序算法.根据 CS 学生在这个主题上花费的时 ...
数据结构思维第三章 `ArrayList`
第三章 ArrayList 原文:Chapter 3 ArrayList 译者:飞龙协议:CC BY-NC-SA 4.0 自豪地采用谷歌翻译本章一举两得:我展示了上一个练习的解法,并展示了一种使用 ...
数据结构思维第四章 `LinkedList`
第四章 LinkedList 原文:Chapter 4 LinkedList 译者:飞龙协议:CC BY-NC-SA 4.0 自豪地采用谷歌翻译这一章展示了上一个练习的解法,并继续讨论算法分析. ...

数据结构思维第七章到达哲学

第七章到达哲学

7.1 起步

7.2 可迭代对象和迭代器

7.3 `WikiFetcher`

7.4 练习 5

数据结构思维第七章到达哲学相关推荐

最新文章

热门文章

数据结构思维 第七章 到达哲学

第七章 到达哲学

7.1 起步

7.2 可迭代对象和迭代器

7.3 WikiFetcher

7.4 练习 5

数据结构思维 第七章 到达哲学相关推荐

最新文章

热门文章

数据结构思维第七章到达哲学

第七章到达哲学

7.3 `WikiFetcher`

数据结构思维第七章到达哲学相关推荐