(转载)Nutch2 WebPage 字段解释
版本:
Nutch2.2.1
nutch/conf/gora-hbase-mapping.xml内有webpage表结构
<class name="org.apache.nutch.storage.WebPage" keyClass="java.lang.String" table="webpage"><primarykey column="id" length="512"/><field name="baseUrl" column="baseUrl" length="512"/> <field name="status" column="status"/><field name="prevFetchTime" column="prevFetchTime"/><field name="fetchTime" column="fetchTime"/><field name="fetchInterval" column="fetchInterval"/><field name="retriesSinceFetch" column="retriesSinceFetch"/><field name="reprUrl" column="reprUrl" length="512"/><field name="content" column="content" length="65536"/><field name="contentType" column="typ" length="32"/> <field name="protocolStatus" column="protocolStatus"/><field name="modifiedTime" column="modifiedTime"/><field name="prevModifiedTime" column="prevModifiedTime"/><field name="batchId" column="batchId" length="32"/><!-- parse fields --><field name="title" column="title" length="512"/><field name="text" column="text" length="32000"/><field name="parseStatus" column="parseStatus"/><field name="signature" column="signature"/><field name="prevSignature" column="prevSignature"/><!-- score fields --><field name="score" column="score"/><field name="headers" column="headers"/><field name="inlinks" column="inlinks"/><field name="outlinks" column="outlinks"/><field name="metadata" column="metadata"/><field name="markers" column="markers"/>
</class>
id
headers
text
status
- 1 unfetched (links not yet fetched due to limits set in regex-urlfilter.txt, -TopN crawl parameters, etc.)
- 2 fetched (page was successfully fetched)
- 3 gone (that page no longer exists)
- 4 redir_temp (temporary redirection — see reprUrl below for more details)
- 5 redir_perm (permanent redirection — see reprUrl below for more details)
- 34 retry
- 38 not modified
markers
parseStatus
modifiedTime
score
typ
batchId
baseUrl
content
title
reprUrl
fetchInterval
prevFetchTime
inlinks
prevSignature
outlinks
fetchTime
retriesSinceFetch
protocolStatus
- ACCESS_DENIED 17
- BLOCKED 23
- EXCEPTION 16
- FAILED 2
- GONE 11
- MOVED 12
- NOTFETCHING 20
- NOTFOUND 14
- NOTMODIFIED 21
- PROTO_NOT_FOUND 10
- REDIR_EXCEEDED 19
- RETRY 15
- ROBOTS_DENIED 18
- SUCCESS 1
- TEMP_MOVED 13
- WOULDBLOCK 22
signature
metadata
自定义元数据,可以在种子文件里面加,例如: "http://xxxx/xxx.html \t type=news"
转载地址:http://blog.csdn.net/itufo/article/details/20535539
(转载)Nutch2 WebPage 字段解释相关推荐
- Nutch2 WebPage 字段解释
Nutch2 WebPage 字段解释 Nutch2.2.1 id 主键,根据网页url生成(格式:reversed domain name:protocol:port and path),因此,Nu ...
- CMAIL4.0 server 脚本字段解释
CMAIL4.0 server 脚本字段解释 <?xml:namespace prefix = v ns = "urn:schemas-microsoft-com:vml" ...
- R语言数据包自带数据集之ISwR包的melanom数据集字段解释、数据导入实战
R语言数据包自带数据集之ISwR包的melanom数据集字段解释.数据导入实战 目录 R语言数据包自带数据集之ISwR包的melanom数据集字段解释.数据导入实战 #数据字段说明 #导入包 #导入数 ...
- UCL葡萄酒(red white wine quality)数据集字段解释、数据导入实战
UCL葡萄酒(red white wine quality)数据集字段解释.数据导入实战 目录 UCL葡萄酒(red white wine quality)数据集字段解释.数据导入实战 #数据字段说明 ...
- R语言数据包自带数据集之survival包的colon数据集字段解释、数据导入实战
R语言数据包自带数据集之survival包的colon数据集字段解释.数据导入实战 #数据字段说明 colon数据集:B/C期结肠癌辅助化疗治疗数据 d # 患者编号 study # 所有患者都是1 ...
- R语言数据包自带数据集之survival包的lung数据集字段解释、数据导入实战
R语言数据包自带数据集之survival包的lung数据集字段解释.数据导入实战 目录 R语言数据包自带数据集之survival包的lung数据集字段解释.数据导入实战 #数据字段说明 #导入包 #导 ...
- R语言数据包自带数据集之ToothGrowth数据集字段解释、数据导入实战
R语言数据包自带数据集之ToothGrowth数据集字段解释.数据导入实战 目录 R语言数据包自带数据集之ToothGrowth数据集字段解释.数据导入实战 #数据字段说明 #导入包 #导入数据 #数 ...
- 泰坦尼克号(titanic)数据集字段解释、数据导入实战
泰坦尼克号(titanic)数据集字段解释.数据导入实战 目录 泰坦尼克号(titanic)数据集字段解释.数据导入实战 #数据字段说明 #导入数据 #数据字段说明 # 尽管在沉船事件中幸存下有'一些 ...
- R语言数据包自带数据集之mtcars数据集字段解释、数据导入实战
R语言数据包自带数据集之mtcars数据集字段解释.数据导入实战 目录 R语言数据包自带数据集之mtcars数据集字段解释.数据导入实战 #会用帮助?或者help函数 #字段说明 #导入包 #导入数据 ...
最新文章
- windows域中时间同步的解决方案
- XSLT 与 Java集成常见技术关键点
- matlab读取文件与写入文件
- 如何计算并测量ABAP及Java代码的环复杂度Cyclomatic complexity
- python输入一个整数列表 列表元素为18_Python-18 (高级变量1--列表)
- 易生信Linux培训
- 简述php语言的特点是_PHP语言有哪些优势和特点(一)
- Dubbo 本地存根
- Windows核心编程:第9章 用内核对象进行线程同步
- 百胜erp加密狗驱动_百胜分销系统ERP_DRP用户手册.pdf
- 有关坐标系常见问题的问与答(转自ESRI中国社区)
- STM32芯片命名规则及含义
- 关于2020年全国大学生数学建模竞赛——我的感想
- [ROS2] 你应该知道Costmap_2d 的这些细节
- GB 9706.1-2020| IEC 60601-1附录A关于条款6.3 的IP2X解释可能有错误
- FPS游戏方框透视基本原理
- Openstack 经典面试问题和解答
- PJzhang:如何在裸奔的年代找到一些遮羞布
- 高效率的网站打开速度优化方法
- STM32基于软件模拟IIC进行AHT21B温湿度采集
热门文章
- Ansible之roles(角色)详解
- 记一次Linux修改MySQL配置不生效的问题
- Vue学习之路1 小白起步
- 整理面试中的逻辑思维题
- postgres外部表
- [源码和文档分享]基于FFMEPEG-MATLAB和C#-SQL SERVER构建的手机录音数据库及特征分析...
- NIO和Reactor
- asp.net 页面全生命周期
- asp.net(c#) static关键字用法小结
- c#(winform)中ComboBox和ListBox添加项完全解决