基于卷积神经网络的句子分类模型【经典卷积分类附源码链接】

https://www.toutiao.com/a6680124799831769603/

基于卷积神经网络的句子分类模型

题目：

Convolutional Neural Networks for Sentence Classification

作者：

Yoon Kim

来源：

To appear in EMNLP 2014

Machine Learning (cs.LG)

Submitted on 25 Aug 2014

文档链接：

arXiv:1408.5882

代码链接：

https://github.com/dennybritz/cnn-text-classification-tf

https://github.com/yoonkim/CNN_sentence

https://github.com/dmlc/gluon-nlp

https://github.com/alexander-rakhlin/CNN-for-Sentence-Classification-in-Keras

https://github.com/inspirehep/magpie

摘要

我们报告了一系列卷积神经网络（CNN）的实验，这些实验是在预训练的单词向量之上训练的，用于句子级分类任务。我们展示了一个简单的CNN，它具有很少的超参数调整和静态向量，可以在多个基准测试中获得出色的结果。通过微调学习任务特定的向量可以进一步提高性能。我们还建议对架构进行简单修改，以允许使用任务特定和静态向量。这里讨论的CNN模型在7个任务中的4个中改进了现有技术，包括情感分析和问题分类。

英文原文

We report on a series of experiments with convolutional neural networks (CNN) trained on top of pre-trained word vectors for sentence-level classification tasks. We show that a simple CNN with little hyperparameter tuning and static vectors achieves excellent results on multiple benchmarks. Learning task-specific vectors through fine-tuning offers further gains in performance. We additionally propose a simple modification to the architecture to allow for the use of both task-specific and static vectors. The CNN models discussed herein improve upon the state of the art on 4 out of 7 tasks, which include sentiment analysis and question classification.

要点

在目前的工作中，我们训练一个简单的CNN，在从一个无监督神经语言模型得到的单词向量的基础上进行一层卷积。Mikolov等人(2013)对这些载体进行了谷歌新闻1000亿字的训练，并对公众开放。我们最初保持向量这个词不变，只学习模型的其他参数。尽管超参数调整很少，但是这个简单的模型在多个基准上都取得了很好的效果，这表明预先训练的向量是通用的特征提取器，可以用于各种分类任务。通过微调学习特定于任务的向量可以得到进一步的改进。最后，我们描述了对体系结构的一个简单修改，允许通过多个通道使用预先训练的和特定于任务的向量。

我们的工作在哲学上与Razavian等人(2014)相似，他们的研究表明，在图像分类方面，通过预先训练的深度学习模型获得的特征提取器在各种任务上都表现良好，包括与训练特征提取器的原始任务非常不同的任务。

图1:用两个通道为一个示例句子建模体系结构。

表1:标记化后数据集的汇总统计信息。c:目标类的数量。l:平均句子长度。N:数据集的大小。| V |:词汇量。|Vpre|:预先训练的单词向量集合中出现的单词数。Test:测试集大小(CV表示没有标准的训练/测试分割，因此使用了10倍CV)。

表2:我们的CNN模型与其他方法的对比结果。RAE:使用来自Wikipedia的预先训练的单词向量的递归自动编码器(Socher et al.， 2011)。MV-RNN:带解析树的矩阵-向量递归神经网络(Socher et al.， 2012)。RNTN:基于张量特征函数和解析树的递归神经张量网络(Socher et al.， 2013)。DCNN: k-max池的动态卷积神经网络(Kalchbrenner et al.， 2014)。Paragraph- Vec:基于段落向量的逻辑回归(Le and Mikolov, 2014)。CCAE:带有组合类别语法操作符的组合类别自动编码器(Hermann and Blunsom, 2013)。语句解析器:特定于情感分析的解析器(Dong et al.， 2014)。NBSVM, MNB:朴素贝叶斯SVM和多项式朴素贝叶斯与Wang and Manning(2012)的单bigrams。G-Dropout, F-Dropout: Wang and Manning(2013)的高斯Dropout和快速Dropout。tree - crf:带条件随机字段的依赖树(Nakagawa et al.， 2010)。CRF-PR:带后验正则化的条件随机场(Yang and Cardie, 2014)。支持向量机(SVM): Silva等人(2011)提出的支持向量机的特征包括单双三角、wh开头疑问词、head单词、POS、解析器、hypernyms和60条手工编码的规则。

基于卷积神经网络的句子分类模型【经典卷积分类附源码链接】相关推荐

C++课程设计实训_基于多态书籍信息管理系统的设计与实现、附源码、有过程截图
C++课程设计实训_基于多态书籍信息管理系统的设计与实现.附源码,有过程截图书籍信息管理系统的设计与实现(基于多态) 学生姓名: 学号: 指导老师: 所在系: 专业: 班级: C++课程设 ...
java计算机毕业设计ssm基于SSM框架的旅游订票系统s0s38（附源码、数据库）
java计算机毕业设计ssm基于SSM框架的旅游订票系统s0s38(附源码.数据库) 项目运行环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstor ...
基于Simulink模拟具有两个目标的双基地雷达（附源码）
目录一.示例二.发射机三.目标四.接收机五.结果和显示六.总结七.程序此示例演示如何仿真具有两个目标的双基地雷达系统.双基地雷达的发射器和接收器不位于同一位置,而是沿着不同的路径移动. ...
基于Matlab的单基地雷达模拟检测和跟踪仿真（附源码）
目录一.介绍 1.1 统计雷达模型 1.2 场景管理 1.3 扫描控制二.场景-空中监视 2.1 雷达系统 2.2 参考目标和雷达环路增益 2.3 构建雷达 2.4 方案和目标 2.5 可检测性 ...
基于Java Swing 的马踏棋盘小游戏（附源码！免费下载！）
马踏棋盘游戏小项目设计主要功能运用的数据结构运行流程讲解及录像项目分类截图及源码链接! 设计主要功能 (1)设计内容:设计一个马踏棋盘游戏,马作为棋子,以马走日字的走法,将整个棋盘一次性走完, ...
基于Matlab使用激光雷达检测分类跟踪车辆仿真（附源码）
目录一.概述二.加载数据三.接地层分割四.语义分割五.簇状和边界框管接头六.可视化设置七.总结八.程序此示例演示如何使用安装在 ego 车辆上的激光雷达传感器捕获的激光雷达点云数据来 ...
MATLAB应用实战系列（四十四）-基于matlab的支持向量机分类、回归问题（附源码解析）
Part.1 支持向量机(support vector machines)是一种二分类模型,它的目的是寻找一个超平面来对样本进行分割,分割的原则是间隔最大化,最终转化为一个凸二次规划问题来求解. 对于 ...
300万知乎多标签文本分类任务经验分享（附源码）
来源:大数据挖掘DT数据分析本文长度为4600字,建议阅读6分钟本文为你分享知乎看山杯冠军团队参赛经验. 后台回复回复关键词"PT"即可获取源码(PyTorch实现)githu ...
基于SSM的校园点餐外卖配送系统【附源码】
基于SSM的校园点餐外卖配送系统(点餐系统.外卖系统.配送系统) 开发语言:Java 数据库:MySQL 技术:Spring+SpringMVC+MyBatis+ElementUI 工具:IDEA/E ...

基于卷积神经网络的句子分类模型【经典卷积分类附源码链接】

基于卷积神经网络的句子分类模型【经典卷积分类附源码链接】相关推荐

最新文章

热门文章