ARNOR: Attention Regularization based Noise Reduction for Distant Supervision Relation Classificatio
ARNOR: Attention Regularization based Noise Reduction for Distant Supervision Relation Classification
领域:
远程监督
句子级别的关系识别
创新点:
pattern 模式引入,得到更高置信度的实例,清洗数据上做的功夫
核心:
认为针对某种关系的特定模式对于关系的识别具有重要的作用,因此,提出了注意力正则化的方式使模型能够更加关注那些重要的模式(比如,出生于中,was born in 对于关系的识别就比较重要),能解释该关系标签的模式,在利用学到的墨香,去判断instance是否为正例,------------迭代式训练
原因:
在使用BILSTM+ATT时,对于五个部分的句子权重分配,如下所示,过多得关注了实体,对于背景信息关注较少。
但这里说的average attation?不是对句子中的每个部分做平均化
前人的研究:
在处理噪声问题时,具有三种范式,
一是,包级别的多实例学习,认为bag中至少有一个句子表达了这个关系
二是,句子级别的预测,对比学习、强化学习选择最trust的 data
三是,依赖于pattern的学习。
(我认为这里总结的不是很好,因为DS主要是包和句子级别两种,包级别一般是考虑如何对包内的信息降噪,选择最trust的embedding或者instance做包级别的关系分类;句子级别是考虑识别每一个句子的真实label,因此,一般是采用迭代训练的方式,即在初始数据文本上先训练一个分类器,在利用这个分类器产生更多的优质数据,在优化这个分类器)
总体流程:
两步:+一步M选择
一是词向量表示,
采用LSTM+ATT的形式,
考虑到noisy data ,提出注意力正则化,根据pattern,计算注意力值,文中pattern是以实体之间的词作为pattern。
具体的as和am计算见文中公式。
loss函数是两部分的和,一是分类损失,二是注意力正则化的损失
二是选择instance,
根据置信度,选择得分高作为正实例
三是pattern的选择上,依旧是迭代。
- a pattern extractor Ewhich can extract a relation patterns from an instance, 2) an initial trustable pattern set M (whichmight be manually collected or simply counted up
from original training dataset D using E)
整个流程是:
RC 模型仅使用 M 中的 m 训练 epochs。接下来,在 D 上运行实例选择以选择更有信心的训练数据。这些新的可信实例被馈送到 E 以找出新的可信模式并将它们放入 M(pattern set)
模型图没有看太懂。。
ARNOR: Attention Regularization based Noise Reduction for Distant Supervision Relation Classificatio相关推荐
- 论文解读:Are Noisy Sentences Useless for Distant Supervised Relation Extraction?
论文解读:Are Noisy Sentences Useless for Distant Supervised Relation Extraction? 注:本文章初次编辑为2020年9月2日,最新编 ...
- 文献翻译 | Frequency Domain De-correlation Parameter in Speech Noise Reduction System Based on Frequency
百度学术 Frequency Domain De-correlation Parameter in Speech Noise Reduction System Based on Frequency D ...
- 数字图像处理实验(11):PROJECT 05-02,Noise Reduction Using a Median Filter
实验要求: Objective: To understand the non-linearity of median filtering and its noise suppressing abili ...
- 论文笔记5:Noise Reduction of Hyperspectral Imagery Using Hybrid Spatial-Spectral Derivative-Domain Wavel
论文笔记5:Noise Reduction of Hyperspectral Imagery Using Hybrid Spatial-Spectral Derivative-Domain Wavel ...
- Understanding ISP Pipeline - Noise Reduction
Understanding ISP Pipeline - Noise Reduction 转载于:Understanding ISP Pipeline - Noise Reduction 背景 下图是 ...
- 论文笔记7:Image Blind Denoising With Generative Adversarial Network Based Noise Modeling
Image Blind Denoising With Generative Adversarial Network Based Noise Modeling 引言 相关工作 基于GAN-CNN的盲去噪 ...
- 蓝牙协议栈 电话免提协议HFP(Hands-Free)关闭手机的回声消除EC(Echo canceling),噪音减弱NR(noise reduction)
零. 概述 主要介绍下蓝牙协议栈(bluetooth stack) 电话免提协议HFP(Hands-Free) 关闭手机的回声消除EC(Echo canceling),噪音减弱NR(noise red ...
- 计算机中的tnr是什么函数,Noise reduction in low light -TNR算法
Noise Reduction Filters for Dynamic lmage Sequences: A Review https://en.wikipedia.org/wiki/Image_no ...
- java降噪_运动自适应降噪_Motion Adaptive Noise Reduction
运动自适应降噪_Motion Adaptive Noise Reduction 转载于:运动自适应降噪_Motion Adaptive Noise Reduction CMOS传感器在工作过程中会生成 ...
最新文章
- 函数式 vs 指令式
- KMP算法的JavaScript实现
- 【数据结构】栈-顺序栈、链式栈、共享栈
- 玩游戏用什么轴的机械键盘好_机械键盘选什么轴?全方面分析各轴手感和区别...
- 分享,用sql快速创建MODEL,快速提高工作效率哦
- linux用户和组2
- 安装Redis教程(详细过程)
- 利用MentoHUST在路由器上使用锐捷认证来共享校园网
- Android Studio ADB 环境变量配置
- pmp知识点(8)-项目质量管理
- 是否有无穷多组基本勾股数
- 挂载光盘linux内核升级,华为服务器通过mgmt口挂载光盘装系统及Linux系统rescue模式下修复内核...
- 分布式之分布式事务、分布式锁、分布式Session
- RT-Thread 软件包制作及发布流程
- React 界面样式设计
- 【转】清除cookie的两个方法
- 创业公司试用期,转正是小概率事件
- 1 - 2 电流和电压的参考方向
- Eth2.0 节点的网络通信
- 产业分析:双11全网销售数据解读
热门文章
- mysql odbc桥_jdbc-odbc桥连接数据库
- 阿龙的学习笔记---《程序员自我修养-链接、装载与库》读书笔记(三)
- PYPL 4 月排行:Python 最流行,Java 老矣,尚能饭否?
- uni-app安心打包ios失败
- python练习题--阿拉伯数字转换成中文数字
- Windows强制窗口最大化
- 【Vue】菜头学前端 - vue3学习笔记
- 计算机操作员高级图形图像处理photoshopcs2试题解答,图形图像处理(Photoshop平台)Photoshop CS2试题汇编(图像制作员...
- matlab奇异矩阵高效求逆,奇异矩阵求逆问题!!!
- 按照lfw pairs.txt的格式生成自己的pairs.txt