1.三层神经网络

对于神经网络，我更倾向于理解为：因素（输入层）、影响因子（权重），结果（输出层），这更贴近实际中的因果关系。

先假设有如下矩阵：

$\begin{pmatrix} x1 & x2 \end{pmatrix}\begin{pmatrix} 1 & 2 & 3\\ 4& 5 &6 \end{pmatrix}=\begin{pmatrix} R1 &R2 &R3 \end{pmatrix}$

根据矩阵的计算规则，画出模型图，如下：

输入层是 x1 与 x2，可理解为因素，对于每个因素，都有3个权重，组合起来会导致 3个结果。

2.理解权重矩阵

权重矩阵的第一行（1，2，3），从图中可以看出是从 x1 伸出的三条黑线，是作用于 x1 的所有权重，分别会影响R1、R2、R3。

权重矩阵的第一列（1，4），从图中可以看出是指向结果R1 的两条输入线，是仅影响 R1 的全部权重。

总结一下，权重矩阵也可以这么理解：

权重矩阵的每行对应一个因素。每行的数字是作用于某个因素的所有权重。

权重矩阵的每列对应一个结果。每列的数字是影响某个结果的全部权重。

知道这个，就很容易理解权重矩阵与输入层和输出层元素个数的关系了。

若输入层有2个元素，输出需要有3个元素，那么权重矩阵就必须是 2行3列。2行对应2个输入因素，3列对应3个结果。

3.多维输入层

前面讲的矩阵运算，左矩阵是一维矩阵，如果是二维、三维，如何理解呢？

$\begin{pmatrix} x1 & x2\\ y1 & y2 \end{pmatrix}\begin{pmatrix} 1 &2 &3 \\ 4 &5 &6 \end{pmatrix}=\begin{pmatrix} R1 &R2 &R3 \\ S1& S2 &S3 \end{pmatrix}$

输入层怎么会出现二维呢？会的，如果我们进行批量处理，即处理完（x1,x2）这对因素，我们还要处理（y1,y2）等因素，就可以组合成二维或多维矩阵形式。每一行就代表一个要处理的二元因素。每行因素之间没有任何联系，也互不影响，只是纯粹的计算方便，而摞在一起。

从上面一段话可以看出来，其实每行的数据，是没有任何关联的。上式可理解为下面二式的简略写法。

$\begin{pmatrix} x1 & x2\end{pmatrix}\begin{pmatrix} 1 &2 &3 \\ 4 &5 &6 \end{pmatrix}=\begin{pmatrix} R1 &R2 &R3 \end{pmatrix}$

$\begin{pmatrix} y1 & y2\end{pmatrix}\begin{pmatrix} 1 &2 &3 \\ 4 &5 &6 \end{pmatrix}=\begin{pmatrix} S1 &S2 &S3 \end{pmatrix}$

所以，我们可以像前面的结论一样，这么理解多维的输入层矩阵运算：

输入矩阵的每行对应一次运算，各行互不关联、互不影响。

每次只考虑一行，最后将结果摞在一起。

最后，个人理解，矩阵纯粹就是人为定义的数据的排列方式而已，矩阵的乘法就是人为定义的计算规则。矩阵就只是个数学大师们发明的趁手的工具，没有任何的自然意义，有点像计算机领域的语法糖。

以上仅为个人理解，欢迎指正。

【神经网络】神经网络中的矩阵的理解相关推荐

卷积神经网络CNN中1×1卷积作用理解
0.引言研究 GoogLeNet 和 VGG 神经网络结构的时候,都看见了它们在某些层有采取 1x1 作为卷积核,在最开始看到的AlexNet中都是出现了卷积核是 3x3和5×5的.那么,1x1 的 ...
图形学中4x4矩阵的理解
计算机图形学中矩阵往往是4x4的: 如何理解4x4矩阵呢,不妨拆开这个矩阵: 可以看见,只有左上角的3x3的矩阵参与了线性变换,如果,想要将平移放到这个矩阵当中,并且添加的一列不参与线性变换,则需要添 ...
关于深度学习中三维矩阵的理解（RGB图像的输入）
#! /usr/bin/env python # -*- coding: utf-8 -*-""" =================================== ...
神经网络中Batch Size的理解
神经网络中Batch Size的理解直观的理解: Batch Size定义:一次训练所选取的样本数. Batch Size的大小影响模型的优化程度和速度.同时其直接影响到GPU内存的使用情况,假如你 ...
神经网络训练中batch的作用（从更高角度理解）
1.什么是batch batch,翻译成汉语为批(一批一批的批).在神经网络模型训练时,比如有1000个样本,把这些样本分为10批,就是10个batch.每个批(batch)的大小为100,就是bat ...
图神经网络（一）图信号处理与图卷积神经网络（1）矩阵乘法的三种方式
图神经网络(一)图信号处理与图卷积神经网络(1)矩阵乘法的三种方式 1.1 矩阵乘法的三种方式参考文献图信号处理(Graph Signal Processing,GSP) 1是离散信号处理(D ...
神经网络训练中的Tricks之高效BP（反向传播算法）
神经网络训练中的Tricks之高效BP(反向传播算法) zouxy09@qq.com http://blog.csdn.net/zouxy09 Tricks!这是一个让人听了充满神秘和好奇的词.对于我 ...
神经网络阈值是什么意思,神经网络的权值矩阵
BP神经网络中初始权值和阈值的设定 1.首先需要了解BP神经网络是一种多层前馈网络.2.以看一下在matlab中BP神经网络的训练函数,有梯度下降法traingd,弹性梯度下降法trainrp,自适应 ...

【神经网络】神经网络中的矩阵的理解

1.三层神经网络

2.理解权重矩阵

3.多维输入层

【神经网络】神经网络中的矩阵的理解相关推荐

最新文章

热门文章