原标题：Java开源Web爬虫项目

百度百科解释 网络爬虫：网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

项目一：Heritrix

Heritrix 是一个由 Java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。

Heritrix 是个“Archival Crawler”——来获取完整的、精确的、站点内容的深度复制。包括获取图像以及其他非文本内容。抓取并存储相关的内容。对内容来者不拒，不对页面进行内容上的修改。重新爬行对相同的URL不针对先前的进行替换。爬虫主要通过Web用户界面启动、监控和调整，允许弹性的定义要获取的url。

Heritrix是按多线程方式抓取的爬虫，主线程把任务分配给Teo线程(处理线程)，每个Teo线程每次处理一个URL。Teo线程对每个URL执行一遍URL处理器链。URL处理器链包括如下5个处理步骤。

预取链：主要是做一些准备工作，例如，对处理进行延迟和重新处理，否决随后的操作。

提取链：主要是下载网页，进行DNS转换，填写请求和响应表单。

抽取链：当提取完成时，抽取感兴趣的HTML和Java，通常那里有新的要抓取的URL。

写链：存储抓取结果，可以在这一步直接做全文索引。Heritrix提供了用ARC格式保存下载结果的ARCWriterProcessor实现。

提交链：做和此URL相关操作的最后处理。检查哪些新提取出的URL在抓取范围内，然后把这些URL提交给Frontier。另外还会更新DNS缓存信息。

项目二：WebSPHINX

WebSPHINX 是一个 Java 类包和 Web 爬虫的交互式开发环境。 Web 爬虫 ( 也叫作机器人或蜘蛛 ) 是可以自动浏览与处理 Web 页面的程序。 WebSPHINX 由两部分组成：爬虫工作平台和 WebSPHINX 类包。

WebSPHINX 是一个 Java 类包和 Web 爬虫的交互式开发环境。 Web 爬虫 ( 也叫作机器人或蜘蛛 ) 是可以自动浏览与处理 Web 页面的程序。 WebSPHINX 由两部分组成：爬虫工作平台和 WebSPHINX 类包。

WebSPHINX用途：

可视化显示页面的集合

下载页面到本地磁盘用于离线浏览

将所有页面拼接成单个页面用于浏览或者打印

按照特定的规则从页面中抽取文本字符串

用Java或Java开发自定义的爬虫

详细介绍可见

项目三：Encog

Encog是一个高级神经网络和机器人/爬虫开发类库。Encog提供的这两种功能可以单独分开使用来创建神经网络或HTTP机器人程序，同时Encog还支持将这两种高级功能联合起来使用。Encog支持创建前馈神经网络、Hopfield神经网络、自组织图。

Encog提供高级HTTP机器人/爬虫编程功能。支持将多线程爬虫产生的内容存在内存或数据库中。支持HTM解析和高级表单与Cookie处理。

Encog是一种先进的机器学习框架，它支持多种先进的算法，以及支持类正常化和处理数据。机器学习算法，如支持向量机，人工神经网络，遗传编程，贝叶斯网络，隐马尔可夫模型，遗传编程和遗传算法的支持。大多数Encog培训algoritms是多线程的，很好地扩展到多核硬件。Encog还可以使用一个GPU，以进一步加快处理时间。一个基于GUI的工作台也提供帮助模型和火车机器学习算法。自2008年以来Encog一直在积极发展。

Encog 支持多种语言，包括C#、Java和C。

在GitHub上有各种语言版本的源代码。

http://www.heatonresearch.com/encog

https://github.com/encog返回搜狐，查看更多

责任编辑：