【Heritrix基础教程之4】开始一个爬虫抓取的全流程代码分析

在创建一个job后，就要开始job的运行，运行的全流程如下：

1、在界面上启动job

2、index.jsp

查看上述页面对应的源代码

<a href='"+request.getContextPath()+"/console/action.jsp?action=start'>Start</a>

3、action.jsp

    String sAction = request.getParameter("action");if(sAction != null){// Need to handle an action    if(sAction.equalsIgnoreCase("start")){// Tell handler to start crawl jobhandler.startCrawler();} else if(sAction.equalsIgnoreCase("stop")) {// Tell handler to stop crawl jobhandler.stopCrawler();} else if(sAction.equalsIgnoreCase("terminate")) {// Delete current jobif(handler.getCurrentJob()!=null){handler.deleteJob(handler.getCurrentJob().getUID());}} else if(sAction.equalsIgnoreCase("pause")) {// Tell handler to pause crawl jobhandler.pauseJob();} else if(sAction.equalsIgnoreCase("resume")) {// Tell handler to resume crawl jobhandler.resumeJob();} else if(sAction.equalsIgnoreCase("checkpoint")) {if(handler.getCurrentJob() != null) {handler.checkpointJob();}}}    response.sendRedirect(request.getContextPath() + "/index.jsp");

4、CrawlJobHandler.jsp

（1）

    public void startCrawler() {running = true;if (pendingCrawlJobs.size() > 0 && isCrawling() == false) {// Ok, can just start the next jobstartNextJob();}}

（2）

    protected final void startNextJob() {synchronized (this) {if(startingNextJob != null) {try {startingNextJob.join();} catch (InterruptedException e) {e.printStackTrace();return;}}startingNextJob = new Thread(new Runnable() {public void run() {startNextJobInternal();}}, "StartNextJob");startingNextJob.start();}}

（3）

   protected void startNextJobInternal() {if (pendingCrawlJobs.size() == 0 || isCrawling()) {// No job ready or already crawling.return;}this.currentJob = (CrawlJob)pendingCrawlJobs.first();assert pendingCrawlJobs.contains(currentJob) :"pendingCrawlJobs is in an illegal state";pendingCrawlJobs.remove(currentJob);try {this.currentJob.setupForCrawlStart();// This is ugly but needed so I can clear the currentJob// reference in the crawlEnding and update the list of completed// jobs.  Also, crawlEnded can startup next job.this.currentJob.getController().addCrawlStatusListener(this);// now, actually startthis.currentJob.getController().requestCrawlStart();} catch (InitializationException e) {loadJob(getStateJobFile(this.currentJob.getDirectory()));this.currentJob = null;startNextJobInternal(); // Load the next job if there is one.}}

（4）

    public void requestCrawlStart() {runProcessorInitialTasks();sendCrawlStateChangeEvent(STARTED, CrawlJob.STATUS_PENDING);String jobState;state = RUNNING;jobState = CrawlJob.STATUS_RUNNING;sendCrawlStateChangeEvent(this.state, jobState);// A proper exit will change this value.this.sExit = CrawlJob.STATUS_FINISHED_ABNORMAL;Thread statLogger = new Thread(statistics);statLogger.setName("StatLogger");statLogger.start();frontier.start();}

【Heritrix基础教程之4】开始一个爬虫抓取的全流程代码分析相关推荐

用爬虫抓取美联储演讲数据并分析金融政策
用python抓取美联储数据近日,笔者选择了一个任务,用爬虫抓取美联储演讲数据,并分析相关金融政策. 首先必须做的,是抓取数据. 打开美联储的网站Federal Reserve Board - Ho ...
【Heritrix基础教程之1】在Eclipse中配置Heritrix
一.新建项目并将Heritrix源码导入 1.下载heritrix-1.14.4-src.zip和heritrix-1.14.4.zip两个压缩包,并解压,以后分别简称SRC包和ZIP包: 2.在Ec ...
【Heritrix基础教程之3】Heritrix的基本架构
Heritrix可分为四大模块: 1.控制器CrawlController 2.待处理的uri列表 Frontier 3.线程池 ToeThread 4.各个步骤的处理器 (1)Pre-fetch ...
Python爬虫抓取指定网页图片代码实例
更多编程教程请到:菜鸟教程 https://www.piaodoo.com/ 友情链接:好看站 http://www.nrso.net/ 高州阳光论坛https://www.hnthzk.com/ 想 ...
【Heritrix基础教程之2】Heritrix基本内容介绍
1.版本说明 (1)最新版本:3.3.0 (2)最新release版本:3.2.0 (3)重要历史版本:1.14.4 3.1.0及之前的版本:http://sourceforge.net/projec ...
python可以处理多大的数据_科多大数据之Python基础教程之Excel处理库openpyxl详解...
原标题:科多大数据之Python基础教程之Excel处理库openpyxl详解科多大数据小课堂来啦~Python基础教程之Excel处理库openpyxl详解 openpyxl是一个第三方库,可以处 ...
python的excell库_扣丁学堂Python基础教程之Excel处理库openpyxl详解
扣丁学堂Python基础教程之Excel处理库openpyxl详解 2018-05-04 09:49:49 3197浏览 openpyxl是一个第三方库,可以处理xlsx格式的Excel文件.pipi ...
pgsql数据库默认配置事务类型_PostgreSQL基础教程之：初始化配置
PostgreSQL基础教程之:初始化配置时间:2020-04-27 来源: PostgreSQL基础教程之:初始化配置一.配置pg_hba.conf 先说明客户端认证配置文件pg_hba.con ...
Linux入门基础教程之Linux下软件安装
Linux入门基础教程之Linux下软件安装一.在线安装: sudo apt-get install 即可安装如果在安装完后无法用Tab键补全命令,可以执行: source ~/.zshrc AP ...

【Heritrix基础教程之4】开始一个爬虫抓取的全流程代码分析

【Heritrix基础教程之4】开始一个爬虫抓取的全流程代码分析相关推荐

最新文章

热门文章