【论文阅读】一种用于消歧和语义表示的统一模型 A Unified Model for Word Sence Representation and Disambiguation
【论文阅读】一种用于消歧和语义表示的统一模型 A Unified Model for Word Sence Representation and Disambiguation
- 问题
- 解决方案
- 模型搭建
- 实验
- 举例&相似度 for WSR
- 基于特定领域&粗力度全词 for WSD
- 参数影响
- 总结与展望
- 总结
- 展望
- 思考
问题
大多语言表述(represent)方法假设一个单词有单个语义(semantic),需要进行消歧。
解决方案
提出了一个联合模型用于解决语言表述和消歧问题。核心idea是语言表述问题(WSR)和消歧问题(WSD)相互增益:高质量的WSR拥有丰富信息,对WSD有帮助;WSD提供语料库用于WSR。
模型搭建
2.1节介绍了语义(sense)数据库WordNet,进行了概念的定义。
2.2到2.4介绍了模型训练的三个阶段,分别是:使用Skip-gram(中心词预测周围词)进行词向量初始化,使用"阈值筛选"进行词语义初始化;利用两种算法进行语义消歧;改进Skip-gram训练目标,学习语义向量。
stage1:词向量和语义初始化。词向量直接使用Skip-gram即可,词语义方法为u的词向量均值(公式3和公式4),u是单词w在大语料库中获得的每个sense中的词汇,在当前sence的所有u中,筛选出:
- 词性必须属于【动词,名词,副词,形容词】
- 和单词的cos相似度大于设定阈值
stage2:针对一个句子中所有单词进行消歧。共有|Sense(wi)|相乘个可能的结果,其中Sense(wi)为该单词对应的所有语义。文章提出L2R算法(从左到右)和S2C算法(从简单到复杂),利用语义,对单词进行消歧。这两种算法的主要区别在于计算的顺序,前者遵循正常的阅读顺序,后者核心观念是语义越少的单词越容易被正确消歧。这两种算法都有三个步骤:
初始化:类似于语义的初始化,此处对context的初始化使用的是所有上下文content向量的平均值(公式5)。
排序:L2R算法无须排序,S2C算法按照语义从少到多排序。
消歧:按照排序后的单词,跳过无须消歧的单词,对于需要消歧的单词,计算其向量和语义向量的余弦相似度。如果该相似度margin(第一个和第二个相似的差值)小于规定的阈值,则使用语义向量替换该初始化的向量。以此更新content向量,来辅助同一个句子中其他单词的消歧。
stage3:根据消歧后的结果,利用Skip-gram重新训练sense向量,修改了目标函数为公式6,此时期望 根据单词t预测的周围词汇的词向量嵌入表示 x 语义嵌入表示最小,也就是正确预测单词概率和正确预测语义的概率,以此更新定义的模型中M的参数。这里使用层次softmax减少计算复杂度。
实验
举例&相似度 for WSR
举例中给出了识别出的sense的最近邻词汇(表2)。可以看到其对于词汇的解释效果。
利用SCWS数据集(一对单词拥有自己的上下语境,人工评估的相似度),计算了spearman系数来评估。这里给出了三个模型(单向量模型,这里存疑,意思是使用的之前利用大语料库训练的向量?,使用上下文+AvgSim,使用上下文+AvgSimC)。
基于特定领域&粗力度全词 for WSD
利用领域词汇进行对比实验,召回率作为指标。
利用wikidata进行对比实验,并且验证了S2C优于L2R,F1score作为指标。
参数影响
余弦相似度对结果的影响,从没有一个词被筛去(-0.1),到筛去了几乎一半的词(0.3),0.0附近的结果最好。筛去过少会引入负例,筛去过多舍去了正例。
总结与展望
总结
回顾了前人的工作,从一个单词对应的单语义表示,到多语义表示,到和消歧结合。对于消歧工作,一般有两种,基于监督学习or基于知识,总结了基于知识的语料库扩展工作,单词表示可以包含语义和句法信息。
展望
- 在模型中加入聚类方法以应对新语义的出现
- 利用其他WSD方法提升模型性能,如LDA等
- 利用语义之间的上下文关系
思考
- 基于idea,能否使用gan?利用论文中模型M进行生成,对标正确语义match程度。半监督->监督。
- 词向量表示和语义是两个指标,又相互影响,发掘其中的关系。
- 与wordnet的对应,可以应用至基于知识的消歧,也可应用于图谱。
【论文阅读】一种用于消歧和语义表示的统一模型 A Unified Model for Word Sence Representation and Disambiguation相关推荐
- [论文阅读]面向全局:用于高分辨率遥感图像语义分割的宽上下transforms
[论文阅读]面向全局:用于高分辨率遥感图像语义分割的宽上下transforms 文章目录 [论文阅读]面向全局:用于高分辨率遥感图像语义分割的宽上下transforms 一.总体介绍 二.具体作用 3 ...
- 生成句法分析树以及从一个小例子来看词义消歧及语义角色标注
一.生成句法分析树 把一句话按照句法逻辑组织成一棵树,由人来做这件事是可行的,但是由机器来实现是不可思议的,然而算法世界就是这么神奇,把一个十分复杂的过程抽象成仅仅几步操作,甚至不足10行代码,就能让 ...
- 将特定像素点在图像上连接起来_(NeurIPS 2019) Gated CRF Loss-一种用于弱监督图像语义分割的新型损失函数...
本文已经被NeurIPS 2019(2019 Conference and Workshop on Neural Information Processing Systems)接收,论文为弱监督图像语 ...
- 文献阅读(1)--TNNLS 论文:一种用于轴承故障诊断的变分transformer
TNNLS 论文:variable transformer 1. 摘要 2. 内容概览 3.主要创新点 文献 1. 摘要 Deep learning technology provides a pro ...
- 随机邻域嵌入_「论文阅读」-学习用于通勤流嵌入的地理上下文嵌入
论文地址:https://ojs.aaai.org//index.php/AAAI/article/view/5425 0x00 引言 本文章题为"用于通勤流预测的地理上下文嵌入学习&quo ...
- 论文翻译——一种用于产品生命周期管理的产品信息建模框架
A product information modeling framework for product lifecycle management Article in Computer Aided ...
- 论文阅读--Risk-Resistant Resource Allocation for eMBB and URLLC coexistence under M/G/1 Queueing Model
阅读目的:学习eMBB和URLLC共存下的资源分配/调度等问题 point: 和m/g/1模型关系?-考虑队列时延 risk概念?-考虑了对URLLC delay的细粒度描述,刻画了tailed di ...
- 论文阅读:Predicting Dynamic Embedding Trajectory inTemporal Interaction Networks(JODIE模型)
最近阅读了Jure组的工作,是关于时序交互图的JODIE模型,所思所想写在这篇文章中,如果有愿意讨论的伙伴可以评论或者私聊我指出我的问题. Abstract 作者在摘要部分提出处理有顺序的交互是一个十 ...
- 文献阅读课10-Neural Relation Extraction for Knowledge Base Enrichment(提取+嵌入+消歧+规范化联合模型,实体已知,仅关系抽取,多词实体)
文章目录 Abstract 1.Introduction 2. 相关工作 2.2 Entity-aware Relation Extraction 3.提出的模型 3.1 Solution Frame ...
最新文章
- 业务系统性能问题分析和诊断
- codevs1183 泥泞的道路(01分数规划)
- DevExpress 11.1.6 重编译详细过程
- 计算机视觉之人脸检测相关Paper资源汇总
- type python3_详解Python3中的Sequence type的使用
- 【转载】android客服端+eps8266+单片机+路由器之远程控制系统
- matlab2c使用c++实现matlab函数系列教程-real函数
- Web页面打印及GridView导出到Excel
- 计算机存储成本,仓储成本
- MacBook Air如何清理缓存
- 博弈DP:PIPI的炸弹
- 《管理者必读12篇》如何购买
- 百度掉队了?正好相反,未来掉队的或许是腾讯阿里
- excel计算机一级打不开,【2人回答】Excel表格太大,电脑打不开如何解决?-3D溜溜网...
- Quartz配置资源介绍
- Vue 使用jsPlumb 实现连线绘图
- Python之进程 3 - 进程池和multiprocess.Poll
- 烦立停:过度营销的孙宇晨输给了一个结石
- Spark配置参数中英文对照
- 吃货联盟订餐系统(对象+集合)
热门文章
- 夺命追击(Murderous Pursuits)服务器搭建教程
- Baumer工业相机堡盟工业相机如何通过BGAPISDK设置多帧采集模式(C#)
- ios 发送请求时按home_iPhone知道这个功能,再也不用担心home键被按坏了
- python爬虫之爬取时光网电影影评
- html图片展示插件,12款经典的白富美型—jquery图片轮播插件—前端开发必备
- 计算机等级考试上网怎么做,计算机基础知识上网设置篇
- setTimeout 与 setTimeinterval的区别
- 使用一段时间,oracle服务在启动时报1053:服务没有及时响应启动或控制请求
- 【CodeForces 1253C --- Sweets Eating】DP
- 【金融科技】企业融资的基础知识