heritrix 3.2.0 -- 环境搭建

heritrix作为一个比较经典的开源爬虫，写这篇文章目的是因为，3.X之后的heritrix的介绍以及配置的文章比较少了。

heritrix 3.x 以后使用maven 2配置jar包引用，但是总是有好多包没法从maven库下载。所以，这里讲的环境搭建直接使用了编译好的工程来做，heritrix-3.2.0-dist.tar.gz以及源码压缩包heritrix-3.2.0-src.tar.gz

具体方法如下：

新建java工程（非maven）

将heritrix-3.2.0-dist.tar.gz解压放到工程目录

添加源代码引用，使用heritrix-3.2.0-src.zip：

尝试启动heritrix，heritrix内核使用jetty所以不需要依附tomcat或者其他web容器。

入口类是这个org.archive.crawler.Heritrix

启动成功：

Oracle Corporation Java(TM) SE Runtime Environment 1.7.0_55-b13
Using ad-hoc HTTPS certificate with fingerprint...
SHA1:7C:99:FC:BC:62:13:DD:F3:B8:24:2F:EF:B7:60:0E:E2:AF:A1:13:8E
Verify in browser before accepting exception.
2014-07-11 01:54:31.408 警告 thread-1 org.archive.crawler.framework.Engine.findJobConfigs() invalid job directory: .\jobs\.gitignore where job expected from: .\jobs\.gitignore
2014-07-11 01:54:31.550:INFO::Logging to STDERR via org.mortbay.log.StdErrLog
2014-07-11 01:54:31.552:INFO::jetty-6.1.26
2014-07-11 01:54:31.753:INFO::Started SslSocketConnector@localhost:9095
engine listening at port 9095
operator login set per command-line
NOTE: We recommend a longer, stronger password, especially if your web
interface will be internet-accessible.
Heritrix version: 3.2.0

请求： https://localhost:9095/

现在可以正常使用了。

heritrix 3.2.0 dist 包下载见http://mitchz.iteye.com/blog/2088134

大小: 15.2 KB

大小: 6.6 KB

大小: 95.7 KB

大小: 67.9 KB

大小: 25.3 KB

大小: 28.5 KB

查看图片附件

转载于:https://www.cnblogs.com/sesexxoo/p/6190580.html

heritrix 3.2.0 -- 环境搭建相关推荐

(win10 64位系统中)Visual Studio 2015+OpenCV 3.3.0环境搭建，100%成功
(win10 64位系统中)Visual Studio 2015+OpenCV 3.3.0环境搭建,100%成功 Visual Studio 2015下载地址:https://msdn.itellyo ...
vSphere 5.0 开发系列（一）vSphere 5.0 环境搭建手顺
vSphere 5.0 开发系列(一)vSphere 5.0 环境搭建手顺首先我们要简单了解一下vSphere整体设计结构. 接下来开始做服务器吧. 一.先做ESXi5.0服务器找到一台干净服务器 ...
鸿蒙os2.0环境搭建gradle-5.4.1-all.zip下载失败问题解决方案
鸿蒙os2.0环境搭建gradle-5.4.1-all.zip下载失败问题解决方案解决 gradle-5.4.1-zip因拉取超时而失败的这个问题鸿蒙官网的解决方案 1.按照上面链接找到环境安装 ...
yolov5-4.0环境搭建，零基础小白都能看得懂的教程。YOLOv5搭建的最快搭建方式，踩坑经历详谈)yolov5/yolov4/yolov3/yolov3通＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞第一章
第一章:python最新YOLOv5-4.0环境搭建,零基础小白都能看得懂的教程.YOLOv5搭建的最快搭建方式,踩坑经历详谈环境准备: yolov5-4.0环境搭建整体说明 2,anaconda的 ...
IoT开发——WIFI模块ESP8266 RTOS SDK V3.0.0环境搭建
目录 1. 环境概览 2. 安装Ubuntu操作系统 3.搭建编译环境 3.2 环境准备 3.3 环境配置 3.4 设置串口,进行编译 3.5 配置elipse编译器 (1)安装eclipse (2) ...
CUDA编程学习0——环境搭建环境详解
目录环境配置软件安装 1.支持最高的cuda版本查询,下载cuda开发软件: 3.配置环境(~/.bashrc添加环境变量) 4.后续维护查询补:关于windows下的cuda环境配置一.Vi ...
CDH6.1.0环境搭建完成后登录admin账户失败
CDH环境搭建完成,启动cloudera-manager-server成功,下面是启动日志 [root@node-1 ~]# sudo systemctl start cloudera-scm-ser ...
Windows CE 6.0 环境搭建
最近由于实验所需,不得不撸起袖子来搭建了这么一个Windows CE的开发环境.(内心OS : WindCE 没落到微软自家都嫌弃了, 我还傻乎乎地在这安装它.) 由于微软对WindCE的嫌弃态度,整 ...
Angular4.0环境搭建详解--windows系统环境
第一步:安装NodeJS 下载最新版的NodeJS并安装,安装完成后打开CMD命令行,输入以下命令: node -v 若返回类似版本号则代表NodeJS安装成功,如下: 第二部安装npm 新版的No ...

heritrix 3.2.0 -- 环境搭建

heritrix 3.2.0 dist 包下载见http://mitchz.iteye.com/blog/2088134

heritrix 3.2.0 -- 环境搭建相关推荐

最新文章

热门文章