列表网址获取规则

这里是设置被采集的文章列表页的匹配规则。如果被采集的文章列表页有一定的规律，可选择“批量生成列表网址”；如果被采集的文章列表页完全没有规律可循，那么可选择“手工指定列表网址”；如果被采集的站点提供了RSS，则可以选择“从RSS中获取”。对于特殊情况，例如：部分列表页规律，而其余的又没有规律，则可在“匹配网址”中填上有规律的部分，然后把没有规律的部分填写在“手动指定网址”。

具体操作步骤：

（a）首先，回到已打开的文章列表页，找到浏览器的URL地址栏中显示的网址，和页面底部的换页部分。如图所示，

（b）单击“2”，打开文章列表页的第二页，此时浏览器的URL地址栏中所显示的网址和页面底部的换页部分，

第二页的网址

第二页的换页部分

（c）在已打开的文章列表页的第二页上面，单击（1），打开文章列表页的首页，这时页面底部的换页部分与图11相同，而浏览器的URL地址栏中所显示的网址与之前图8并不相同，如（图14）所示，

第一页的网址

（d）由（b）和（c）推知，此处被采集的文章列表页的网址所遵循规律为：

。稳妥起见，请自行测试更多列表页。确定规律后，在“匹配网址”中，填入文章列表页所遵循的规律。

（e）最后，指定需要采集的页码或者规律数字，并设定其递增规律。

到这里，“列表网址获取规则”部分就设置结束了。最后结果，如图所示，

设置后的列表网址获取规则

确定正确后，进入下一步设置。

五，设置文章网址匹配规则

设置后的文章网址匹配规则

单击“保存信息并进入下一步设置”后，便可进入“新增采集节点：第二步设置内容字段获取规则”页面，如图所示，

设置内容字段获取规则

在预览网址处，系统将会自动指定一篇将被采集文章内容页面的网址（一般为所采集列表页面的第一篇文章网址），作为示范页面。如果文章内容页面含有分页，则需设置“内容分页导航所在的区域匹配规则”。对于“固定采集项目”中的“内容摘要、关键字和缩略图“三个部分，系统会用正则进行自动匹配，这里仅需配置过滤内容即可。下面主要介绍如何获取“文章标题、文章作者、文章来源、发布时间和文章内容”的采集规则，过滤规则仅简单涉及。

获取文章标题的采集规则

首先，打开“预览网址“的页面并单击右键，选择”查看源代码“，找到文章标题” 在Dreamweaver中为插入的Flash添加透明“，如（图23）所示，

在源代码中的文章标题

这里的文章标题处在”<h1></h1>”之间，由于在此页面中多次出现这组标签，因此这里应该填写“<div class=”arcbody”><h1>[内容]</h1>”作为文章标题的匹配规则。如果在文章标题中含有相关链接等，可使用过滤规则加以处理，这里无需设置。填写后，如图所示，

文章标题的采集规则

获取文章作者的采集规则

如上图23所示，在“作者：”二字后面有一组标签“<font color=”red”></font>”，以此猜测，作者名将会写在这组标签之间。同样，为了保持唯一性，这里应填写”作者：<font color=“red”>[内容]</font>“作为文章作者的采集规则。谨慎起见，请根据文章列表中其他文章内容页面查证此采集规则是否正确。这里不需要使用过滤规则。填写后，如图所示，

文章作者的采集规则

获取文章来源的采集规则

在上图23中，可发现“来源：”二字后面有一组标签“<font color=”red”></font>”，以此猜测，来源内容将会写在这组标签之间。与2.1.2处理方式相同，为了保持唯一性，文章来源的采集规则应为“来源：<font color=“red”>[内容]</font>“。同样，这里也不需要使用过滤规则。填写后，如图所示，

文章来源的采集规则

获取文章发布时间的采集规则

再次回到图23，找到“发表于：”及其后的“<font color=”red”>2009-09-29 14:21</font>”，与之前获取采集规则方法相同，此处应把“发表于： <font color=”red”>[内容]</font>”作为发布时间的采集规则。同样，这里也不需要使用过滤规则。填写后，如图所示，

文章发布时间的采集规则

获取文章内容的采集规则

这个部分是编写采集规则的重点，也是难点。需要特别注意。

具体操作步骤：

（a）回到正在打开的文章内容页面的源代码，找到文章内容的开始部分“Dreamweaver升级到8.0.2后”，如图28所示，

文章内容的开始部分

注意：在源代码中，有两处都出现了这句话。其中，第一句在“<div class=”intro”>”之后，第二句在“<div class=”content”><p>”之后。通过对比文章内容页面及其源代码，不难发现，第一处实为摘要，第二处才为文章内容的开始部分。因此，应选取“<div class=”content”>”为匹配规则的开始部分。

（b）找到文章内容的结束部分“同样是添加值为“transparent”的“wmode”参数。”，如图所示，

文章内容的结束部分

注意：由于结束部分的最后标签为”</p>”，而此标签在文章内容中多次出现。因此，不能作为采集规则的结束标签。考虑到应与文章内容的开始部分相对应，经对比和分析后得出，此处应选取“</div>”作为文章内容的结束部分，如图所示，

文章内容匹配规则的结束部分

（c）综合（a）和（b）可知，此处文章内容的匹配规则应为“<div class=”content”>[内容]</div>”，填写后，如图所示，

文章内容的匹配规则

这里占时不使用过滤规则，关于过滤规则的介绍和使用，将会放在单独的章节中。到这里，“新增采集节点：第二步设置内容字段获取规则”，就设置完成了。检查无误后，单击“保存配置并预览”。如果之前设置正确，单击后，将会进入“新增采集节点：测试内容字段设置”页面并看到相应的文章内容。如图所示，

新增采集节点：测试内容字段设置

确定正确无误后，如果单击“仅保存”，系统将会提示“成功保存配置“并返回”采集节点管理“界面；如果单击“保存并开始采集“，将会进入”采集指定节点“界面。否则，请单击“返回上一步进行修改”。

采集指定节点

单击“保存并开始采集“后，将会进入”采集指定节点“界面，如图所示，

采集指定节点

每页采集：设置每页所需采集的条数，并可根据网站是否有防刷新功能，设置采集间隔时间。

特殊选项：设置是否检测重复图片，默认为“检测”。

附加选项：此选项一共有3种采集模式可供选择：第一种为“监控采集模式（检测当前或所有节点是否有新内容）”，选取后，系统只会采集指定节点中更新的内容；第二种为“重新下载全部内容”，选取后，系统会采集指定节点中的全部内容；第三种为“下载种子网站的未下载内容”，选取后，系统只会采集指定节点中未下载过的内容，包括以前没下载的和更新的内容。

设置完成并确定无误后，可单击“开始采集网页”或者“查看种子网址”。此时，如果单击“查看种子网址”会看到列表是空的，这是因为新建立的采集节点从未采集过，如图所示，

查看节点的种子网址

单击“开始采集网页”后，系统便会开始采集节点中设置的网址，并出现相关提示，如图所示，

采集进程中提示信息

采集结束后，再次单击“查看种子网址”或者单击页面右上角的“查看已下载”，便可看到已采集到的网址信息，如图所示，

查看节点的种子网址

成功采集以后，可以根据实际需要选择页面右上角的单击“采集节点管理”或者“导出数据”。单击“导出数据“后，便可进入” 采集管理> 采集内容导出“界面，如图所示。