Larbin使用方法2

http://larbin.sourceforge.net/custom-eng.html
How to customize Larbin文中有介绍

配置文件larbin.conf文件各项简介：（修改配置文件不需要重新编译larbin）
###############################################
# Who are you ?
# mail of the one who launched larbin (YOUR mail)
From larbin2.6.3@unspecified.mail #//用于http头，web服务器管理员可通过该地址联

#//系执行larbin的人
# name of the bot (sent with http headers)
UserAgent larbin_2.6.3 #//客户端标志 ############################################
# What are the inputs and ouputs of larbin
# port on which is launched the http statistic webserver
# if unset or set to 0, no webserver is launched
httpPort 8081 #//laibin有一个简单的web服务器，可通过http://localhost::8081监控其

#//运行状态，如果该值为0，则不启动web服务器。
# port on which you can submit urls to fetch
# no input is possible if you comment this line or use port 0
inputPort 1976

############################################
# parameters to adapt depending on your network
# Number of connexions in parallel (to adapt depending of your network speed)
pagesConnexions 100 #//并行获取网页的数量，该值可依据网络带宽调整
# Number of dns calls in parallel
dnsConnexions 5         #//并行解析dns的数量
# How deep do you want to go in a site
depthInSite 5             #//网页抓取深度
# do you want to follow external links
noExternalLinks         #//是否允许抓取域名外连接
# time between 2 calls on the same server (in sec) : NEVER less than 30
waitDuration 60         #//对同一个服务器获取网页的间隔时间
# Make requests through a proxy (use with care)
#proxy www 8080    #//代理地址

##############################################
# now, let's customize the search

# first page to fetch (you can specify several urls)
startUrl http://www.baidu.com #//抓取网页的起始URL,可指定多值

# Do you want to limit your search to a specific domain ?
# if yes, uncomment the following line
#limitToDomain .fr .dk .uk end

# What are the extensions you surely don't want
# never forbid .html, .htm and so on : larbin needs them

#//限制不被下载的对象的后缀,可通过注释或者增加后缀控制下载
forbiddenExtensions
.tar .gz .tgz .zip .Z .rpm .deb
.ps .dvi .pdf
.png .jpg .jpeg .bmp .smi .tiff .gif
.mov .avi .mpeg .mpg .mp3 .qt .wav .ram .rm
.jar .java .class .diff
.doc .xls .ppt .mdb .rtf .exe .pps .so .psd
end

附上

Larbin使用方法2相关推荐

关于larbin的编译
2019独角兽企业重金招聘Python工程师标准>>> 记得以前同事安装过一次,还是我帮着弄好的,最近对web crawler感兴趣,所以就拿来看看. 从sourceforge下载了 ...
larbin是一种开源的网络爬虫/网络蜘
主要是配置larbin.conf文件和options.h 注意:更改前者可以直接运行,如果更改了第二个就要重新make了!!! 如果你英文够好的话就可以直接看了,都有详细的解释.不行的话就看翻译吧ht ...
在 Oracle Enterprise Linux 和 iSCSI 上构建您自己的 Oracle RAC 11g 集群
作者:Jeffrey Hunter 了解如何以低于 2,700 美元的费用在 Oracle Enterprise Linux 上安装并配置 Oracle RAC 11g 第 2 版开发集群. 本指南中 ...
Java面试题大全2021版
一.Java 基础 JDK 和 JRE 有什么区别? JDK:Java Development Kit 的简称,java 开发工具包,提供了 java 的开发环境和运行环境. JRE:Java Run ...
Larbin简介,及其在Ubuntu10.04下的编译安装
Larbin是一种多功能的网络爬虫,一个法国人最初为 XYLEME project写的,当时只是为了获取网络上的XML文件.Larbin是非常灵活可订制的. 最新版本的Larbin在一台普通的PC上一 ...
开源爬虫larbin分析
1. larbin简介(百度百科) larbin是一种开源的网络爬虫/网络蜘蛛,由法国的年轻人Sébastien Ailleret独立开发,用c++语言实现.larbin目的是能够跟踪页面的u ...
【转】larbin的设计原理
更多有关larbin的学习资料,可参见:http://blog.csdn.net/forestlight/article/details/6803122 粗粗看了下,这个资料也很不错,对读代码很有帮助 ...
Nginx/Apache/PHP 防止恶意User-Agent方法
------------------------------------------------------------------------ !!!以下配置方法(简单易通) ----------- ...
从Larbin看互联网爬虫设计(转载)
来源: http://blog.chinaunix.net/u1/34978/showart_422243.html 从Larbin看互联网爬虫设计于敦德 2005.12.16 转载请注明出处互联 ...

Larbin使用方法2

Larbin使用方法2相关推荐

最新文章

热门文章