【论文泛读76】将来自bert的提取信息和多种嵌入方法与深度神经网络集成在一起,以进行幽默检测
贴一下汇总贴:论文阅读记录
论文链接:《Integrating extracted information from bert and multiple embedding methods with the deep neural network for humour detection》
一、摘要
在过去的几年中,从句子中进行幽默检测一直是一项有趣且具有挑战性的任务。为了强调幽默检测,大多数研究都是使用传统的嵌入方法进行的,例如Word2Vec或Glove。最近,BERT句子嵌入也已用于此任务。在本文中,我们提出了一个从新闻头条摘录的短文本中用于幽默检测的框架。我们提出的框架(IBEN)试图通过使用BERT的不同层从书面文本中提取信息。经过几次试验,将权重分配给BERT模型的不同层。然后将提取的信息作为嵌入矩阵发送到Bi-GRU神经网络。我们利用了一些外部嵌入模型的属性。我们的神经网络中的多核卷积也被用来提取更高级别的句子表示。这个框架在幽默检测的任务上表现很好。
二、结论
在这篇文章中,我们提出了一个框架(IBEN)来检测书面句子的滑稽程度。在我们的架构中,我们使用了深度学习技术的组合,如多核卷积、双向GRU和BERT。BERT和外部嵌入与双GRU和美国有线电视新闻网模型的结合提供了对句子的深刻理解。结果显示了我们框架的性能。我们的统一框架的主要贡献是有效地学习上下文信息,这反过来提高了幽默检测性能。尽管我们获得了有竞争力的结果,但我们的方法仍有很大的改进空间。在未来,我们有一个计划来关注特定的幽默形式,如不协调、讽刺、讽刺、双关语和优越感。这可能有助于更好地理解不同的建模策略如何识别幽默的不同根源。
三、model
利用BERT层进行单词嵌入,嵌入矩阵然后被输入到我们的神经网络的嵌入层,多核卷积滤波器用于从附加嵌入中移除更高级的特征序列。在收到这些模块的预测后,结果被混合并用于确定有趣的程度。
Bert特征提取
Embedding
Bi-GRU
Multi-Kernel Convolution (多核卷积)
Humour Prediction and Model Training (幽默预测与模型训练)
损失函数: m s e = ∑ i = 1 n ∣ y i − y ^ i ∣ mse=\sum_{i=1}^n|y_i-\hat y_i| mse=i=1∑n∣yi−y^i∣
PS:一些后话
之前复现过一个中文幽默的小项目,如果后面对这个方向感兴趣,可以与这个结合试试~
【论文泛读76】将来自bert的提取信息和多种嵌入方法与深度神经网络集成在一起,以进行幽默检测相关推荐
- 【论文泛读】 Deep Learning 论文合集
[论文泛读] Deep Learning 论文合集 文章目录 [论文泛读] Deep Learning 论文合集 Batch Normalization: Accelerating Deep Netw ...
- 【论文泛读】 ResNet:深度残差网络
[论文泛读] ResNet:深度残差网络 文章目录 [论文泛读] ResNet:深度残差网络 摘要 Abstract 介绍 Introduction 残差结构的提出 残差结构的一些问题 深度残差网络 ...
- 【论文泛读】 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
[论文泛读] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift ...
- 深度神经网络进行动态心电图心律不齐的检测和分类 nature论文学习
2019年发布在nature上的文章:利用深度神经网络进行动态心电图心律不齐的检测和分类 论文链接:https://www.nature.com/articles/s41591-018-0268-3 ...
- 【论文泛读】Easing Embedding Learning by Comprehensive Transcription of Heterogeneous Information Networks
Easing Embedding Learning by Comprehensive Transcription of Heterogeneous Information Networks [2018 ...
- 方面级情感分析论文泛读02:Syntax-Aware Aspect-Level Sentiment Classification with Proximity-Weighted Convolution
提示1:原文链接 提示1:代码链接 文章目录 前言 一.论文信息 二.笔记要点 2.1. 目前存在的问题 2.2. 目前解决方法: 2.3.本文方法和创新点 2.4. 实验效果 2.5. 模型结构 2 ...
- 【论文泛读】Modeling Intra and Inter-modality Incongruity for Multi-Modal Sarcasm Detection
论文题目:Modeling Intra and Inter-modality Incongruity for Multi-Modal Sarcasm Detection 时间:2020 来源:EMNL ...
- ICRA2017三篇论文泛读
1.Convergence and Consistency Analysis for a 3-D Invariant-EKF SLAM(泛读)(ICRA2017)引用 9 摘要翻译: 在这篇文章中,我 ...
- 【论文泛读】XFlow: Cross-Modal Deep Neural Networks for Audiovisual Classification
论文题目:XFlow: Cross-Modal Deep Neural Networks for Audiovisual Classification 时间:2019 来源:IEEE TNNLS 论文 ...
最新文章
- ORA-00257: archiver error. Connect internal only, until freed 错误的处理方法
- sap-通过定义物料组的评估类-设置无物料号的费用采购
- 【RS】Amazon.com recommendations: item-to-item collaborative filtering - 亚马逊推荐:基于物品的协同过滤...
- 十五步骤手把手学会制作网吧XP母盘制作
- 前端学习(1952)vue之电商管理系统电商系统之级联选择器
- 程序员的十层楼(11层)
- 哈啰出行架构调整:两轮电动车租售平台将升级为独立事业部
- JS之iscroll.js的使用详解
- ASP.NET MVC + ADO.NET EF 项目实战(一):应用程序布局设计
- 程序员需要掌握哪些软技能?
- (11)数据结构-栈应用-简易计算器
- 台式电脑连不上wifi怎么办
- 普罗米修斯监控mysql与邮件告警
- 浏览器F12进行Web程序调试
- SpringBoot-数据库连接池(java配置和Yaml配置)
- CNN用于句子分类时的超参数分析
- [THE_PLAN]八月份的第一抹阳光
- VS2010离线安装包(学习版)
- 百度技术沙龙(第2期)- 1. 百度大规模数据处理(转载)
- word 2013 修订模式下修订的文字样式设置
热门文章
- 阿里云Centos7修改22默认端口
- 地图中的鼠标移动响应
- 计算机硬盘计入哪个会计科目,电脑加装固态硬盘如何做分录
- java.io.EOFException
- [附源码]SSM计算机毕业设计中华美食网站JAVA
- 第二章:Java面向对象:抽象(abstract)类、模板方法设计模式、接口(interface)、关键字-implements(实现)、代理模式
- linux yes 命令_如何在Linux上使用yes命令
- 数据库系统概论中国人民大学MOOC第一章数据库系统知识点总结(2) 层次结构- 网状结构-关系结构数据的完整性约束条件单向链接 双向链接 环状链接 向首链接
- SSM网页聊天室游戏平台
- 【人工智能】Google I/O 2023:让 AI 对每个人都更有帮助 Making AI more helpful for everyone