简单maxPooling单层网络句子分类框架和数学理论

数据清洗
分词

英文的文本肯定不用这一步，中文就必须分词了。

词向量化

这里我将用随机的向量化，一个词的维度为 n*1

句子向量化，标签01化

假设句子 x 词的数量是m，那么它的向量为 n*m（一列一个词向量，顺序排m列）

比如三分类标签 G 分别为[1,0,0]，[0,1,0]，[0,0,1]

初始化权重W

维度为 n*classSize （classSize分类大小）

句子向量过maxPooling层

maxPooling就是在一个维度中选择最大的一个，其余抛弃

句子向量 n*m也就是每一行是一个维度，每一行选择最大的，最终维度为 n*1

Softmax概率化

P = Softmax(xT*W) 维度1*classSize

通过Loss算梯度grad

grad需要通过链式求导求得，即

而其中的

对Loss化简得：

其中的g表示这个句子的标签中[0,1,0] 1 的位置，y为概率化的结果，y为[0.5,0.3,0.2]

可以推出

由于，所以：

所以梯度

更新W

W = W − α∗grad

更多精彩内容，请关注 深度学习自然语言处理 公众号，就是下方啦！跟随小博主，每天进步一丢丢！哈哈！

简单maxPooling单层网络句子分类框架和数学理论相关推荐

最简单的单层神经网络实现鸢尾花分类
一,知识背景鸢尾花的分类由四个数据定义,分别是花萼长.花萼宽.花瓣长.花瓣宽.我们把这样的一组数据称为是一组特征,根据特征可以分为三类鸢尾花. 二,神经元模型神经元采用最简单的简化MP(麦卡洛克- ...
matlab 创建简单的深度学习网络用于分类
matlab 2018以上版本.如果不是2018以上版本,需要单独安装工具箱Deep learning toolbox 此示例说明如何创建和训练简单的卷积神经网络来进行深度学习分类.卷积神经网络是深度 ...
人工神经网络简介和单层网络实现AND运算--AForge.NET框架的使用（五）
前面4篇文章说的是模糊系统,它不同于传统的值逻辑,理论基础是模糊数学,所以有些朋友看着有点迷糊,如果有兴趣建议参考相关书籍,我推荐<模糊数学教程>,国防工业出版社,讲的很全,而且很便宜(我 ...
神经网络和深度学习（二）——一个简单的手写数字分类网络
本文转自:https://blog.csdn.net/qq_31192383/article/details/77198870 一个简单的手写数字分类网络接上一篇文章,我们定义了神经网络,现在我们开 ...
基于深度学习的SDN家庭网关加密网络流量分类
写在前面: 本文翻译供个人研究学习之用,不保证严谨与准确 github链接:https://github.com/WithHades/network_traffic_classification_pa ...
卷积神经网络在句子分类上的应用[翻译]
最近翻译几篇paper,也算逼着自己多看看文章.对于一些概念的理解不够透彻可能导致翻译不准确,以及某些术语实在也是找不到合适的中文词,可能会有些别扭或索性没翻.大家将就着看.哪位大神看到了,如有不足还 ...
Convolutional Neural Networks for Sentence Classification(卷积神经网络句子分类）
目录摘要原文翻译单词解释技术解读引言原文翻译单词解释技术解读原文翻译单词解释技术解读原文翻译单词解释技术解读原文翻译单词解释技术解读. Model 原文单 ...
使用bert模型做句子分类
使用bert模型微调做下游任务,在goole发布的bert代码和huggingface的transformer项目中都有相应的任务,有的时候只需要把代码做简单的修改即可使用.发现代码很多,我尝试着自己 ...
系统学习NLP（三十一）--基于CNN句子分类
这篇文章翻译自A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sen ...
基于卷积神经网络的句子分类模型【经典卷积分类附源码链接】
https://www.toutiao.com/a6680124799831769603/ 基于卷积神经网络的句子分类模型题目: Convolutional Neural Networks for ...

简单maxPooling单层网络句子分类框架和数学理论

简单maxPooling单层网络句子分类框架和数学理论相关推荐

最新文章

热门文章