【论文复现】Character-level Convolutional Networks for Text Classification
写在前面
今天讨论的论文依然是文本分类主题的。Character-level Convolutional Networks for Text Classification这篇论文是在2016年4月份发表的，在此之前，深度学习自然语言处理问题的处理思路基本都是基于单词或者短语（n-grams）。这篇文章作者受到 ImagineNet卷积神经网络处理图片从底层像素开始的思路影响，开始试图从字符角度出发重新训练神经网络。在此之前，作者团队在2015年也发表了相类似的文章（相似度85%）Text Understanding from Scratch。因此，神经网络不再需要提前输入关于单词的信息，并且这些单词的知识往往是高维的，很难应用于CNN中。除此之外，神经网络也不在需要提前知道关于语法和语义的只是。作者称这种基于字符的学习为从零开始学习（learn from scratch）。并且作者提到，这种学习策略很容易推广到所有语言。
模型框架
论文的实现框架就是由一个个模块堆砌成的，如下图所示：
1. Character quantization
这里的Character quantization就是将输入的每个字符用ont-hot编码表示出来。这里作者提出模型中使用的字母表一共包括70个字符，其中26个英文字母，10个数字，33个其他字符和一个全零向量（用于表示unknow字符）。另外处理输入的时候，作者选择反向处理字符编码，即反向读取文本，这样做的好处是最新读入的字符总是在输出最开始的地方。
abcdefghijklmnopqrstuvwxyz0123456789
-,;.!?:’’’/\|_@#$%ˆ&*˜‘+-=<>()[]{}2. Conv. and Pool. layers
论文中设计了两种神经网络，一个大的一个小的。他们都有6个卷积层和3个全连接层总共9层，区别是卷基层通道的个数frame和全连接层神经元的个数。 论文中给出了大小两种模型详细的卷积层和全连接层的配置参数，卷积和池化的方式都采用“VALID”，即不进行补零操作。另外在全连接层中间还有两个dropout层，dropout的概率为0.5，以防止出现过拟合。权重初始化的方式为高斯分布，大模型的均值方差为（0,0.02），小模型的均值方差为（0,0.05）。
模型复现
https://github.com/KaiyuanGao/text_claasification/tree/master/char_cnn_classification
【论文复现】Character-level Convolutional Networks for Text Classification相关推荐
- Character-level Convolutional Networks for Text Classification
论文总体结构 本文历史意义: 1.构建多个文本分类数据集,推动文本分类发展 2.提出CharTextCNN方法,由于只使用字符信息,所以可以用于多种语言中 一.Abstract(通过实验探究了字符级别 ...
- 论文阅读笔记：Graph Convolutional Networks for Text Classification
Abstract 文本分类作为一个经典的自然语言处理任务,已经有很多利用卷积神经网络进行文本分类的研究,但是利用图卷积神经网络进行研究的仍然较少. 本文基于单词共现和文档单词间的关系构建一个text ...
- 【论文复现】Hierarchical Attention Networks for Document Classification
写在前面 最近在整理文本分类方面比较经典的模型,看到了"Hierarchical Attention Networks for Document Classification"这篇 ...
- Character-level Convolutional Networks for Text Classification之每日一篇
这篇文章发表于2016.04,作者还发表了一篇Text Unders tanding from Scratch的论文,有兴趣的可以去看看. 字符级的卷积网络是一个有效的方法. 模型如何很好地进行比较, ...
- 当GCN遇见NLP(三) Tensor Graph Convolutional Networks for Text Classification，AAAI2020
文章目录 1.Introduction 2.Model 2.1 Graph Tensor 2.2 Text graph tensor construction Semantic-based graph ...
- Very Deep Convolutional Networks for Text Classification之每日一篇
源码:https://github.com/lethienhoa/Very-Deep-Convolutional-Networks-for-Natural-Language-Processing 一: ...
- 【文本分类】Recurrent Convolutional Neural Networks for Text Classification
·摘要: 从模型的角度,本文作者将RNN(Bi-LSTM)和max_pooling结合使用,提出RCNN模型,应用到了NLP的文本分类任务中,提高了分类精度. ·参考文献: [1] Recur ...
- PaddlePaddle飞桨论文复现营——3D Residual Networks for Action Recognition学习笔记
PaddlePaddle飞桨论文复现营--3D Residual Networks for Action Recognition学习笔记 1 背景知识 1.1 C3D C3D是一种3D卷积提取视频特征 ...
- 【论文翻译】Fully Convolutional Networks for Semantic Segmentation_2
论文题目:Fully Convolutional Networks for Semantic Segmentation 论文来源:Fully Convolutional Networks for Se ...
最新文章
- 追求极致的AI·OS——AI·OS引擎平台
- iOS进阶之底层原理-线程与进程、gcd
- 文巾解题 5. 最长回文子串
- nginx长连接出现504的解决办法
- 【数据库bug修复】——Authentication plugin ‘caching_sha2_password‘ is not supported
- 面向.NET开发人员的Dapr——服务调用
- C++ __gnu_pbds（hash，可并堆，平衡树）
- L2-007 家庭房产（并查集）
- 公共技术点之 Android 动画基础
- 趣学python编程教孩子学编程_趣学Python——教孩子学编程
- c语言病毒编写教程,来来来，教你一个用C语言写个小病毒
- 先学python还是r-r语言和python学哪个？
- 最新HyperSnap绿色汉化版
- 抖音起名号项目详细步骤拆分，不懂话术怎么办？
- html如何在背景的基础上添加文字,如何创建背景图片并在其上添加文字
- android夜景录像模式,【图片】三种夜景拍摄手法优缺点对比,仅供参考【android吧】_百度贴吧...
- 京东到家开放平台消息系统-进阶之路
- 小米笔记本第一排按键功能失灵 [ 解决办法 ]
- android 系统中将 键盘的esc键修改为 和back一样的功能
- CMD命令进入MySQL数据库的方法