序号

包名

说明

1

org.apache.commons.httpclient

封装了apache的httpclient用于Fetch网页内容

2

org.apache.commons.httpclient.cookie

封装了apache的httpclient用于Fetch网页内容,这里主要处理Cookie

3

org.apache.commons.pool.impl

封装了apache的httpclient用于Fetch网页内容,还待研究

4

org.archive.crawler

Heritrix程序运行的入口包,如Heritrix运行可以直接抓取

5

org.archive.crawler.admin

Heritrix的管理包,比如CrawlJob表示一个抓取任务job,CrawlJobHandler管理JOB,以及日志统计等

6

org.archive.crawler.admin.ui

服务于UI管理界面,如Job参数的设置

7

org.archive.crawler.datamodel

Heritrix的数据模型包,如在Heritrix中代表一个URL的CandidateURI

8

org.archive.crawler.datamodel.credential

管理Heritrix数据模型中的凭证,如抓取某些网站需要用户名和密码

9

org.archive.crawler.deciderules

Heritrix的规则包,如决定哪些URL可以抓取可以调度

10

org.archive.crawler.deciderules.recrawl

还待研究,应该是决定哪些URL需要重新抓取

11

org.archive.crawler.event

事件管理,如Heritrix的暂停、重启、停止等

12

org.archive.crawler.extractor

Heritrix的造血器,通过它抽取新的URL再次进行抓取

13

org.archive.crawler.fetcher

Heritrix的获取包,如获取HTTP、DNS、FTP数据

14

org.archive.crawler.filter

Heritrix的过滤器,如配合Rule过滤一些不要的URL

15

org.archive.crawler.framework

Heritrix的框架包,存放一些核心类,一般是父类,如Heritrix控制类CrawlController;调度器类Frontier

16

org.archive.crawler.framework.exceptions

Heritrix框架异常包,通常这里的异常抛出会导致Heritrix的停止

17

org.archive.crawler.frontier

Heritrix的调度器,决定抓取哪个URL

18

org.archive.crawler.io

Heritrix的IO格式包,感觉取名不合理,这里只是定义一些格式,如统计数据的格式,错误日志的格式

19

org.archive.crawler.postprocessor

辅助处理器包,感觉取名也不合理,这里只是对处理URL前后进行一些处理,如URL重定向

20

org.archive.crawler.prefetch

Heritrix的预处理器包,如确定一个URL是否已经解析了DNS

21

org.archive.crawler.processor

Heritrix处理器

22

org.archive.crawler.processor.recrawl

23

org.archive.crawler.scope

Heritrix抓取范围管理,如种子

24

org.archive.crawler.selftest

管理Heritrix的Web工程self.war

25

org.archive.crawler.settings

管理Heritrix配置文件order.xml中的各项配置

26

org.archive.crawler.settings.refinements

管理Heritrix自己对数据格式的标准,如时间格式

27

org.archive.crawler.url

还没怎么接触到,待研究

28

org.archive.crawler.url.canonicalize

Heritrix的URL规范化,用于规范每一个URL

29

org.archive.crawler.util

Heritrix用于抓取的工具包,如BDB操作工具,IO操作工具

30

org.archive.crawler.writer

Heritrix的下载包,用于将抓取的URL内容写入硬盘

31

org.archive.extractor

还没接触到,待研究

32

org.archive.httpclient

Heritrix为结合httpclient量身打造的包,让自身更好的获取网页内容

33

org.archive.io

Heritrix的IO包,自己封装的一些IO操作类

34

org.archive.io.arc

针对arc格式的IO操作包

35

org.archive.io.warc

针对warc格式的IO操作包

36

org.archive.net

Heritrix扩展了java.net的包,主要扩展java.net.URI类

37

org.archive.net.md5

Heritrix对URL MD5加密包,所用不多,待研究

38

org.archive.net.rsync

待研究

39

org.archive.net.s3

待研究

40

org.archive.queue

待研究

41

org.archive.uid

Heritrix ID管理,主要针对URI

42

org.archive.util

整个Heritrix的工具类

43

org.archive.util.anvl

待研究

44

org.archive.util.bdbje

Heritrix对BDB的封装

45

org.archive.util.fingerprint

待研究

46

org.archive.util.iterator

Heritrix自身封装的迭代器

47

org.archive.util.ms

待研究

48

st.ata.util

扩展的其他包,待研究

序号

类

说明

1

CommandLineParser

Heritrix也可以通过CMD命令进行操作，该类用于解析CMD命令

2

Heritrix

Heritrix主类，可以通过该类启动Heritrix

3

SimpleHttpServer

Heritrix Web服务器，可以通过Web管理Heritrix

4

WebappLifecycle

封装Servlet，如此才可以通过Web启动Heritrix，里面封装Heritrix对象

序号

类

说明

1

CrawlJob

Heritrix的核心类，代表着一个抓取任务，order.xml中大部分属性都围绕其配置。

2

CrawlJobErrorHandler

维护着一个抓取任务（CrawlJob）的错误日志，UI中显示的JOB错误就来自于它。

3

CrawlJobHandler

抓取任务处理器，Heritrix可以有多个抓取任务，都由它管理

4

InvalidJobFileException

抓取任务文件异常，意义不大

5

SeedRecord

记录种子的处理记录，如该种子重定向到哪个URL，在seeds.txt里面会有说明，该重定向值就来源于它

6

StaticsSummary

统计摘要类，所用不多

7

StaticsTracker

Heritrix核心类，统计跟踪器，贯穿整个Heritrix的运行，如统计抓取了多少URL。

序号

类

说明

1

CookieUtils

Cookie工具类，主要用于访问Cookie

2

JobConfigureUtils

CrawlJob配置管理工具类，当你通过Web Ui去配置一个CrawlJob时就会用到这个类

3

RootFilter

序号

类

说明

1

CandidateURI

Heritrix的核心类，代表着一个URL，贯穿整个抓取，与CrawlURI的区别是它还没有调度器（Frontier），只有通过了调度器的URL才可能去获取网页内容下载等

2

CandidateURITest

CandidateURI的测试类，比如可以用它获知如何创建CanditeURI

3

Checkpoint

Heritrix会定期备份它的数据，如日志、正在获取的URL内容，都是在底层定时运行，当Heritrix异常中断可以通过它来恢复，也类似于各个数据库的Checkpoint

4

CoreAttributeCostants

装载着Heritrix的基本属性变量名，一般是对应order.xml中的标签名

5

CrawlHost

Heritrix的核心类，代表着一个Host，里面主要包含域名、IP。由于Heritrix可以控制抓取速度，如对一个Host的抓取速度，这个类就代表着那个Host

6

CrawlOrder

Heritrix的核心类，基本上对应着order.xml的各个属性值，除了各个组件的详细属性

7

CrawlServer

Heritrix的核心类，也对应着一个Host，里面装载着一个Host的各种Heritrix数据，如统计信息、爬虫协议

8

CrawlSubstats

抓取统计类，主要统计抓取url的个数、成功的个数、下载的字节数等等呢

9

CrawlURI

CandidateURI的子类，主要比CaidiateURI多了网页内容指纹、所属队列、组件处理器等

10

CredentialStore

凭证存储类，负责存储各种凭证，如登录

11

FetchStatusCodes

抓取状态,有不同的属性代表不同的抓取状态,如DNS获取成功：S_DNS_SUCCESS

12

RobotsHonoringPolicy

爬虫协议,代表着不同的抓取策略

13

Robotstxt

爬虫协议,用于解析robots.txt

14

ServerCache

服务器缓存,主要缓存CrawlHost和CrawlServer

15

UriUniqFilter

接口,用于过滤已经抓取过的URL

序号

类

说明

1

Credential

凭证类,代表着一个凭证,从order.xml配置文件中获取数据

2

CredentialAvatar

代表着一个具体的凭证

3

HtmlFormCredential

Credential的子类,代表着提交HTML FORM表单时所需要的凭证

4

Rfc2617Credential

Credential的子类,代表着RFC2617 HTTP 认证凭证

序号

类

说明

1

AcceptDecideRule

URL规则,表示接受

2

ConfiguredDecideRule

URL规则，通过order.xml文件中的配置来决定是否拒绝(REJECT)或接受(ACCEPT)

3

DecideRule

URL规则的父类,审核一个URL是否接受(ACCEPT)、拒绝(REJECT)或放弃(PASS),通过decisionFor(Object object)方法,该方法由其子类实现

4

DecidingScope

验证一个URL是否在范围来决定是否接受、拒绝或放弃

5

MatchesRegExpDecideRule

通过配置的正则表达式来决定URL是否可接受、拒绝或放弃

6

NotMatchesRegExpDecideRule

MatchesRegExpDecideRule的子类,如果URL不匹配该正则则接受

7

PathologicalPathDecideRule

如果URL中相同目录名超过配置文件中的个数,则拒绝,如http://www.xxx.com/a/a/a/a/a其中a的个数超过一定限制则拒绝

8

PrerequisiteAcceptDecideRule

如果URL中有先决条件URL则接受,也就是该CandidateURI里的pathFromSeed属性里含有P,表示运行该URL之前有先要运行的URL

9

RejectDecideRule

URL规则，表示拒绝

10

TooManyHopsDecideRule

如果超过配置文件中的约点数(max-hops),则拒绝

序号

类

说明

1

CrawlStatusListener

爬虫监听器,如监听爬虫是否在运行，是否暂停等

2

CrawlURIDispositionListener

URL监听器,如监听URL是否失败，是要要重新抓取等

序号

类

说明

1

Extractor

所有抽取类的父类,用于从一个URL中抽取出新的URL

2

ExtractorCSS

从CSS中抽取出新的URL

3

ExtractorDOC

从DOC中抽取出新的URL

4

ExtractorHTML

从HTML中抽取出新的URL,Heritrix核心类

5

ExtractorHTTP

从HTTP中抽取出新的URL

6

ExtractorJS

从Javascript中抽取出新的URL

7

ExtractorPDF

从PDF中抽取出新的URL

8

ExtractorSWF

从SWF中抽取出新的URL

9

ExtractorXML

从XML中抽取出新的URL

10

HTTPContentDigest

网页内容文摘,实际上是通过MD5或SHA1算法将网页内容指纹化

11

Link

链接,代表抽取出来的URL

操作系统

主要配置

Java环境

Windows XP/Win7

CPU：双核2GHZ以上

内存：2G以上

存储：100G以上

安装JDK环境1.6以上

linux

CPU：双核2GHZ以上

内存：2G以上

存储：100G以上

安装JDK环境1.6或者如果只是运行不做开发的话，安装相应位数的JRE包即可