自然语言处理之神经网络基础（四）

1.1神经网络的基本概念

神经网络（neural network，NN），是一种模仿生物神经网络的结构和功能的数学模型或计算模型。神经网络由大量的人工神经元联结进行计算。

前馈神经网络基础
卷积神经网络
卷积神经网络的文本分类

3 前馈神经网络基础

3.1 神经元

一个神经元通常具有多个树突，主要用来接受传入信息；而轴突只有一条，轴突尾端有许多轴突末梢可以给其他多个神经元传递信息。轴突末梢跟其他神经元的树突产生连接，从而传递信号。这个连接的位置在生物学上叫做“突触”。

3.2 前馈神经网络结构

神经元与前馈神经网络的特点：连接权重；加法器；激活函数
前馈神经网路由输入层，隐藏层和输出层组成。

4 卷积神经网络

4.1 卷积神经网络的构成

卷积、池化、ReLU、批归一化、Dropout
卷积操作示意图
卷积操作步幅：输入图像和输出图像的关系

4.2 池化

池化是使用某一位的相邻输出的总体统计特征来替代网络在该位置的输出

5 卷积神经网络的文本分类

5.1 文字转化为图片

卷积神经网络在处理文本数据时，可以将文字看成一副图片，如下图所示：

5.2 TextCNN的网络结构

5.3TextCNN的原理图

Embedding：第一层时图中最左边的7乘5的句子矩阵，每行是词向量，维度=5，这个可以类比为图像中的原始像素点。
Convolution：然后经过kernel_sizes=（2，3，4）的一维卷积，每个kernel_sizes有两个输出channel。
MaxPooling：第三层是一个1-max pooling层，这样不同长度矩阵经过pooling层之后都能变成顶层的表示。
Fullconnection and Softmax：最后接一层全连接的softmax层，输出每个类别的概率。

自然语言处理之神经网络基础（四）相关推荐

自然语言处理之神经网络基础
1 前馈神经网络前馈神经网络也称为是深度前馈网络或者多层感知机,它是最基础的深度学习模型. 1.1 基本概念前馈神经网络的目标是在函数空间中寻找相对正确的函数.函数空间是由所选的archi ...
温州大学《深度学习》课程课件（七、卷积神经网络基础）
这学期我上的另一门课是本科生的<深度学习>,主要用的是吴恩达老师的<深度学习>视频课的内容. 使用教材:吴恩达<深度学习>课程笔记课外参考书:<深度学习&g ...
Task02：学习笔记文本预处理；语言模型；循环神经网络基础
Task02:学习笔记文本预处理:语言模型:循环神经网络基础文本预处理文本是一类序列数据,一篇文章可以看作是字符或单词的序列,本节将介绍文本数据的常见预处理步骤,预处理通常包括四个步骤: 读入文本 ...
最全神经网络基础知识讲解
神经网络是所有 AI 算法的核心,如今,深度神经网络用于从图像识别和对象检测到自然语言处理和生成的各种任务.在剖析了构成神经网络的基本构建块及其工作原理之后,本问将深入研究神经架构类型及其各自的用途. ...
【赠书】图神经网络基础与前沿最新书籍，赠5本学习
假期快要到了,本次给大家赠送5本人工智能领域的技术书籍,这次赠送的书籍是<图神经网络基础与前沿>. 这是一本什么样的书图神经网络是近两年学术界的热点,在顶级会议上的文章越来越多.目前图像 ...
【阿里云课程】图神经网络基础：图的应用、表示与图卷积
大家好,继续更新有三AI与阿里天池联合推出的深度学习系列课程,本次更新内容为第9课中的一节,介绍如下: 图神经网络基础本次课程是阿里天池联合有三AI推出的深度学习系列课程第9期,讲述图神经网络,图的 ...
Coursera吴恩达《神经网络与深度学习》课程笔记（3）-- 神经网络基础之Python与向量化
红色石头的个人网站:redstonewill.com 上节课我们主要介绍了逻辑回归,以输出概率的形式来处理二分类问题.我们介绍了逻辑回归的Cost function表达式,并使用梯度下降算法来计算最小 ...
吴恩达深度学习笔记2-Course1-Week2【神经网络基础：损失函数、梯度下降】
神经网络基础:损失函数.梯度下降本篇以最简单的多个输入一个输出的1层神经网络为例,使用logistic regression讲解了神经网络的前向反向计算(forward/backward propa ...
计算机视觉：卷积神经网络基础
计算机视觉:卷积神经网络基础计算机视觉概述计算机视觉的发展历程卷积神经网络卷积(Convolution) 卷积计算填充(padding) 步幅(stride) 感受野(Receptive F ...

自然语言处理之神经网络基础（四）

1.1神经网络的基本概念

3 前馈神经网络基础

3.1 神经元

3.2 前馈神经网络结构

4 卷积神经网络

4.1 卷积神经网络的构成

4.2 池化

5 卷积神经网络的文本分类

5.1 文字转化为图片

5.2 TextCNN的网络结构

5.3TextCNN的原理图

自然语言处理之神经网络基础（四）相关推荐

最新文章

热门文章