#Paper Reading# Toward an Architecture for Never-Ending Language Learning
论文题目:Toward an Architecture for Never-Ending Language Learning
论文地址:https://www.cs.cmu.edu/afs/cs.cmu.edu/Web/People/acarlson/papers/carlson-aaai10.pdf
论文发表于:AAAI 2010(A类会议)
论文大体内容:
本文构建出一个NELL(never-ending language learner)的framework,主要能够从web中永不停地抽取信息,构建Knowledge base,然后使用知识不断提升之后task的效果。最后经过67天的实验,NELL抽取出了242000+个beliefs,准确率是74%。
1、NELL的Knowledge包括两种:
①categories:由名词短语组成的,如cities, companies, and sports teams;
②relations:一对名词短语之间的关系,如hasOfficesIn(organization, location);
2、NELL framework:
①CPL(Coupled Pattern Learner):使用名词短语与上下文模式(“mayor of X” and “X plays for Y ”)的共现统计关系进行抽取categories和relations;
②CSEAL(Coupled SEAL):对categories和relations进行query互联网的内容,看是否有互斥的relation,用于过滤抽取到的categories和relations;
③CMC(Coupled Morphological Classifier):对每个category建立一个binary L2-regularized logistic regression models,用于对名词短语的分类,确定是否为categories;
④RL(Rule Learner):用于学习rules,学习到的rules用于推断新的关系实例;
⑤KI(Knowledge Integrator):使candidate facts提升为beliefs,包括两种策略,(i)上面的4个components中有一个的后验概率特别高(>0.9);或者(ii)有多个components的后验概率都比较高;
⑥belief与fact的区别:belief是高置信度的fact,通过人工评测,存在时效性的fact,如coach of the team,在这里也可以转化为belief,没有排除时效性的限制;
⑦Knowledge base的表示:NoSQL的多个key-value[1];
3、beliefs的评测标准:人工评测[2];
4、CPL,CSEAL,CMC每次迭代(每天)都运行一次. RL每10次迭代(每10天)运行一次,所以relations的生成量有毛刺;
5、最终经过初始输入的123个categories,55个relation跑了67天,NELL抽取出了242000+个beliefs,平均准确率是74%。
参考资料:
[1]、https://www.cs.cmu.edu/~tom/pubs/theo_framework_1989.pdf
[2]、http://rtw.ml.cmu.edu/rtw/
以上均为个人见解,因本人水平有限,如发现有所错漏,敬请指出,谢谢!
#Paper Reading# Toward an Architecture for Never-Ending Language Learning相关推荐
- [paper reading] FCOS
[paper reading] FCOS GitHub:Notes of Classic Detection Papers 2020.11.09更新:更新了Use Yourself,即对于本文的理解和 ...
- [paper reading] CenterNet (Object as Points)
[paper reading] CenterNet (Object as Points) GitHub:Notes of Classic Detection Papers 2020.11.09更新:更 ...
- [paper reading] CenterNet (Triplets)
[paper reading] CenterNet (Triplets) GitHub:Notes of Classic Detection Papers 2020.11.09更新:更新了Use Yo ...
- [paper reading] CornerNet
[paper reading] CornerNet GitHub:Notes of Classic Detection Papers 本来想放到GitHub的,结果GitHub不支持公式. 没办法只能 ...
- [paper reading] SSD
[paper reading] SSD GitHub:Notes of Classic Detection Papers 本来想放到GitHub的,结果GitHub不支持公式. 没办法只能放到CSDN ...
- [paper reading] YOLO v1
[paper reading] YOLO v1 GitHub:Notes of Classic Detection Papers 本来想放到GitHub的,结果GitHub不支持公式. 没办法只能放到 ...
- [paper reading] Faster RCNN
[paper reading] Faster RCNN GitHub:Notes of Classic Detection Papers 本来想放到GitHub的,结果GitHub不支持公式. 没办法 ...
- [paper reading] DenseNet
[paper reading] DenseNet GitHub:Notes of Classic Detection Papers 本来想放到GitHub的,结果GitHub不支持公式. 没办法只能放 ...
- [paper reading] ResNet
[paper reading] ResNet GitHub:Notes of Classic Detection Papers 本来想放到GitHub的,结果GitHub不支持公式. 没办法只能放到C ...
最新文章
- 指针02 - 零基础入门学习C语言42
- SAP WM高阶之Storage Type上架策略L下的Mixed Storage
- HTTP Server开发相关学习资料整理推介
- PostGIS之路——线性参考
- python函数教程:global 和 nonlocal的详细用法
- 数据结构与算法(四):二叉树
- BZOJ4516: [Sdoi2016]生成魔咒
- ES6之let能替代var吗?
- 关于在Windows64上编译程序出现相邻变量地址偏移相差32字节问题
- 文后参考文献著录规则 GB/T 7714-2005
- 怎么把html导入iphone,电脑上的视频怎么导入iphone8?电脑视频导入苹果手机教程...
- worldpress小工具自定义html,教程 | 用 worldpress 搭建自己的博客 – 小白教程
- 汉诺塔c语言执行步骤详解,详解汉诺塔执行过程
- [数模论文写作]模型的建立与求解
- 粒子群算法的matlab实现(一)
- 7.13 hdoj1004 Let the Balloon Rise
- AI:大模型领域最新算法SOTA总结、人工智能领域AI工具产品集合分门别类(文本类、图片类、编程类、办公类、视频类、音频类、多模态类)的简介、使用方法(持续更新)之详细攻略
- Perl模块使用 = 简短例子代码集合(转帖)
- 手机移动视频监控系统方案
- 新的生活 新的开始