Heritrix3.0
本博客属原创文章,转载请注明出处: http://guoyunsky.iteye.com/blog/1744456
Heritrix3.0新特性一大亮点就是,相比以前版本载入种子更灵活(甚至你可以动态载入种子),同时可以载入N个种子.以前版本载入种子是全部加载到内存,而一旦种子过多,那容易导致内存溢出.而新版本会分批次写入硬盘(通过调度器写入).所以避免了这个问题.下面就说一下Heritrix3.0载入种子的四种方式,分别是:直接载入,通过seeds.txt载入,通过ActionDirectory动态载入(注意是动态,你随时可以载入),自定义载入.
1. 直接载入:
直接载入比较方便,只需直接在crawler.beans.cxml中设置就可以,具体设置如下.
- <bean class="org.archive.modules.seeds.TextSeedModule">
- <property>
- <bean>
- <property>
- <value>
- # your seeds
- </value>
- </property>
- </bean>
- </property>
- -->
- <!-- <property name='sourceTagSeeds' value='false'/> -->
- <!--
- </bean>
其中只要把your seeds替换成你想要抓取的URL即可,如http://www.yun5u.com.其中sourceTagSeeds表示是否让新抽取出来的URL记录它的种子.
这个最方便,缺点就是如果种子太多,会使得crawler-beans.xml文件过于庞大,不美观
2. 通过seeds.txt载入
也只需要在crawler.beans.cxml中配置,同时将种子填充到seeds.txt中即可:
- <bean class="org.archive.modules.seeds.TextSeedModule">
- <property>
- <bean>
- <property value="seeds.txt" />
- </bean>
- </property>
- <property name='sourceTagSeeds' value='false'/>
- </bean>
也很方便,同时保持了crawler-beans.cxml的美观.缺点其实1)也有,没有动态性,不能自定义扩展.比如想从数据库导入,甚至加上自己的属性.
3. 通过ActionDirectory动态载入
我觉得ActionDirectory是Heritrix3.0最有作用的新特性.因为可以动态控制抓取.比如想新增抓取的种子,想临时存放一些你不想抓取的URL,以及临时让Heritrix抓取一些URL.ActionDirectory都可以很好的满足.我想这个还是以后要着重介绍下.下面先介绍动态载入种子的适用方法:
首先需要在crawler-beans.cxml中配置ActionDirectory:
- <bean class="org.archive.crawler.framework.ActionDirectory">
- <property name="actionDir" value="action" />
- <property name="initialDelaySeconds" value="10" />
- <property name="delaySeconds" value="30" />
- </bean>
其中actionDir表示你的action目录,你得把动态加载的URL文件放到该目录下.默认为action,表示在Heritrix运行的目录下.
initialDelaySeconds表示,初始化时需要延迟的时间,这里是10秒
delaySeconds表示定时扫描actionDir的间隔时间,这里是30秒.
其中启动actionDirectory这个bean并且运行Heritrix3.0之后,你就会在你的抓取目录下看到action这个目录.当然这里你也可以自己指定.
随后可以生成一个文件,但必须以.seeds或.seeds(.gz)结尾.Heritrix会把以这两种文件名结尾的文件当做种子文件来处理.其中.seeds(.gz)表示压缩文件.将你的种子写入.seeds文件,如test.seeds,再放入action目录,30秒后会发现该文件转移到./action/done目录下,格式为时间.test.seeds.这个时候就表示test.seeds这个种子文件已经被加载了.你再观察下控制台,或者crawl.log就有可能发现你的种子已经被处理了.
当然,这种载入方式,你可以根据你的需要随时运行.
4. 自定义载入.
相信很多人,都有自定义载入种子的这个需求.比如从数据库中载入,或者加上自己的属性.这个就要扩展Heritrix的SeedModule了.我写了一个示例,代码如下:
+
![](http://guoyunsky.iteye.com/images/icon_star.png)
- import java.io.File;
- import java.util.Vector;
- import org.apache.commons.httpclient.URIException;
- import org.archive.modules.CrawlURI;
- import org.archive.modules.SchedulingConstants;
- import org.archive.modules.seeds.SeedModule;
- import com.crawl.config.CrawlGlobal;
- import com.crawl.controller.MyHeritrixController;
- public class MySeedModule extends SeedModule {
- private static final long serialVersionUID = 1L;
- public static MyHeritrixController mhc=MyHeritrixController.getInstance(); // 单例模式,实现获得种子
- /**
- * 对ActionDirectory下.seeds或.seeds.gz的处理
- */
- @Override
- public void actOn(File f) {
- }
- /**
- * 添加种子,比如动态添加了种子,这里既要将其载入,又要将其记录下来
- */
- @Override
- public void addSeed(CrawlURI curi) {
- }
- /**
- * 载入种子
- */
- @Override
- public void announceSeeds() {
- Vector seeds=mhc.getSeeds(); // 获得种子,这里需要根据你的需要自己实现.
- String url=null;
- CrawlURI curi=null;
- try {
- for(int i=0; i< seeds .size();i++){ url=seeds.get(i); if(url!=null&&!url.equals("")){ curi=HeritrixUrlUtil.urlToCrawlURI(url, SchedulingConstants.MEDIUM); // 自己实现的方法,将String类型的URL转换为CrawlURI curi.setSeed(true); // 设置为种子 curi.setSourceTag(curi.toString()); // 记录该URL来源的种子URL curi.getData().put(CrawlGlobal.SITE_ID,new Integer(i) ); // 自定义属性 curi.makeHeritable(CrawlGlobal.SITE_ID); // 持久化自定义属性 curi.setForceFetch(true); // 设置为强制抓取,已经抓取过也继续抓取 publishAddedSeed(curi); // 提交种子 } } } catch (URIException e) { // TODO Auto-generated catch block e.printStackTrace(); } } }
- view plaincopy to clipboardprint?
- // HeritrixUrlUtil.urlToCrawlURI(url, SchedulingConstants.MEDIUM); 代码
- /**
- * 将字符串形式的URL转换为CrawlURI
- * @param url
- * @param priority
- * @return
- * @throws URIException
- */
- public static CrawlURI urlToCrawlURI(String url,int priority) throws URIException{
- if (!url.matches("[a-zA-Z][\\w+\\-]+:.*")) {
- url = "http://" + url;
- }
- url=url.replace("&", "&");
- UURI uuri=UURIFactory.getInstance(url);
- CrawlURI curi=new CrawlURI(uuri);
- curi.setSchedulingDirective(priority);
- return curi;
- }
Heritrix3.0相关推荐
- 估算带卷积核二分类0,3的网络的收敛时间和迭代次数
制作一个网络分类minst的0和3求出这网络的迭代次数曲线表达式n(δ),和准确率表达式p-max(δ),用预期准确率去估算n,并推算需要的时间. 将minst的28*28的图片缩小到9*9,网络用一 ...
- heritrix 相关
国内私募机构九鼎控股打造APP,来就送 20元现金领取地址:http://jdb.jiudingcapital.com/phone.html 内部邀请码:C8E245J (不写邀请码,没有现金送) 国 ...
- java爬虫:Heritrix教程
Heritrix3.0.0在2009年底发布,但资料甚少.我这里就先抛砖引用,以前也分析过Heritrix1.4.3,但只是源码,不系统.这里就系统的介绍Heritrix的使用,源码分析和借鉴.先介绍 ...
- 神经网络收敛标准与准确率之间的数学关系
制作一个带一个3*3卷积核的神经网络,测试集是minst的0和2图片集,将28*28的图片缩小成9*9,隐藏层30个节点所以网络的结构是 S(minst0)-(con3*3)49-30-2-(1,0) ...
- 用共振频率去进行图片分类的尝试
假设有一种物质,这种物质的原子核的质子数和电子数可以不同,允许质子的带电量不同,并且质子带负电,同时这个原子的电子不满足鲍利不相容原理,环境温度是 (1/1.3806505)*10^23k,电子波的频 ...
- 收敛标准对迭代次数影响
制作一个n*n的网络,将收敛标准分别设定在,0.001,0.01,0.02,0.03,0.04,0.05,0.06,0.07,0.08,0.09,0.1,观察网络达到平衡时迭代次数的变化. 比如如图的 ...
- vue省市区三级联动mysql,js/json,html/jsp
大家好,我是烤鸭: 省市区三级联动数据及页面: 测试的时候,发现少了几个地区,现在补上了,也优化了下排版. 如果你懒得复制和看的话,这里是打包的下载地址. 之前的资源地址也改了,http://down ...
- ZAM 3D 制作3D动画字幕 用于Xaml导出
ZAM 3D 制作3D动画字幕 用于Xaml导出 原文:ZAM 3D 制作3D动画字幕 用于Xaml导出 原地址-> http://www.cnblogs.com/yk250/p/5662788 ...
- 将执行文件转化为bat批处理文件的工具(批处理文件方式提供)
update 2006.4.25 15:20 支持64kb以上的执行文件/// @echo e 0100 4d 5a 90 0 3 0 0 0 4 0 0 0 ff ff 0 0 >>Da ...
最新文章
- Pycharm安装pip pip安装第三方模块
- 深入理解 JVM Class文件格式(七)
- el-input 输入框类型;只能输入数字的输入框;保留两位小数输入框;只能输入正整数和0的输入框;手机号正则校验;车牌号码正则校验
- Android访问瓦片地图 费流量,瓦片地图服务在线资源访问总结
- python用户界面画图_通过海龟绘图学习Python-01
- 找寻创业赛事活动有哪些靠谱的创业赛事平台?
- 时间日期、查找、压缩类
- Dedecms之SQL语句修改和调用数据总结
- mysql双主配置及其注意事项
- NLPIR汉语分词(Java调用 使用IDEA )
- C++洛谷题解(1)
- android烧写固定MAC,小系统SN号和MAC地址快速烧录的方法与流程
- 思科交换机接口配置trunk_cisco交换机vlan-trunk的配置详解及应用实例
- 2019年计算机类毕业设计论文题目推荐
- 基于OBD系统的量产车评估测试(PVE),你知多少?
- 任正非《一江春水向东流》读后感
- 脚本工作室对游戏的危害
- 轻雀协作客户最佳实践之凯叔讲故事
- 文化先锋A6客户端自动登陆
- python package for Regime switching model 马尔可夫区制转换模型代码