深度学习-核对矩阵维度

在编写深度神经网络程序时，出现的很多问题都是由于矩阵的维度不对引起的，而且这个问题非常难查。而且python有时候还会改变矩阵的维度（例如之前我们学到的python广播化），所以我们需要经常核对矩阵的维度，使他们的维度与我们预料中的保持一致。
上面是一个五层的神经网络，输入层有2个元素，所以n[0] =2，第一层有三个元素，所以n[1] =3，所以w[1]为(3,2)其他层同理。

因此单个训练样本时各变量的维度公式

w[l] --> (n[l] , n[l-1])

b[l] --> (n[l] , 1)

z[l] --> (n[l] , 1)

a[l] --> (n[l] , 1)

da[l] --> (n[l] , 1)

dz[l] --> (n[l] , 1)

db[l] --> (n[l] , 1)

dw[l] --> (n[l] , n[l-1])

根据上面的公式，下面举例列出第一层的相关变量的维度

W[1] --> (3 , 2)

b[1] --> (3 , 1)

z[1] --> (3 , 1)

a[1]–> (3 , 1)

da[1] --> (3 , 1)

dz[1]–> (3 , 1)

db[1] --> (3 , 1)

dW[1] --> (3 , 2)

那么当多个训练样本时维度公式又是怎么样的呢？多个样本时，我们会通过向量化来提升效率，例如我们会将每个样本的特征x列向量（也就是a[0]）一个一个排起来，组成一个矩阵。

下面给出m个训练样本时的维度公式

W[l] --> (n[l] , n[l-1])–> 和单个样本时一样，因为多个样本它们都共用一套W

b[l] --> (n[l], 1) --> 和单个样本时一样，因为多个样本它们都共用一套b

Z[l]–> (n[l] , m)

A[l] --> (n[l] , m)

dA[l] --> (n[l], m)

dZ[l] --> (n[l] , m)

db[l] --> (n[l] , 1) --> db也只有一套，根据公式db = np.sum(dZ) / m可知，db取的是一个平均值

dW[l]–> (n[l] , n[l-1])–> dW也只有一套，同理db

深度学习-核对矩阵维度相关推荐

深度学习与矩阵信号分解_分解谷歌翻译背后的创新深度学习
深度学习与矩阵信号分解 What Google Translate does is nothing short of amazing. In order to engineer the ability ...
深度学习数学基础——矩阵微分篇
https://www.toutiao.com/a6641771475994952206/ 2019-01-02 13:45:27 深度学习是一个令人兴奋的领域,具有巨大的现实世界影响力. 本文是Te ...
PyTorch深度学习实践——对维度的认识
输入输出维度在本节的博客中将整理对于输入输出维度的相关认识,总结如下: 在之前发布的博客<PyTorch深度学习实践--反向传播>中谈到了自己对于一个模型输入的维度认识:不同的维度类似于 ...
吴恩达老师深度学习专项学习笔记
文章目录 (一)神经网络与深度学习一.概论二.神经网络基础三.浅层神经网络四.深层神经网络 (二)改善深层神经网络一.深度学习的实用层面二.优化算法: 三.超参数调试 (三)机构化机器学习 ...
深度学习在推荐系统上的应用
作者:陈仲铭,知乎 ID:ZOMI 深度学习最近大红大紫,深度学习的爆发使得人工智能进一步发展,阿里.腾讯.百度先后建立了自己的AI Labs,就连传统的厂商OPPO.VIVO都在今年开始筹备建立自己 ...
《深度学习》/《Deep Learning》——深度学习圣经的读书笔记
学习方法对着书看一遍,把理解的内容写成笔记看完一章后,看着笔记和书,把内容复习一下,把需要画线的地方画好并理解逐层深入:这本书讲解基础概念讲得不生动,但是高层次上有很多不错的高瞻远瞩的见解,所以 ...
2019年上半年收集到的人工智能深度学习方向干货文章
2019年上半年收集到的人工智能深度学习方向干货文章随机森林VS神经网络:哪个更好? 深度学习--感知机讲解深度学习NN.CNN.RNN.和DNN你了解吗? 手工计算深度学习模型中的参数数量使用 ...
手语识别_使用深度学习进行手语识别
手语识别 TL;DR It is presented a dual-cam first-vision translation system using convolutional neural net ...
【个人总结】基于项目的AI Studio平台下Linux深度学习环境配置心得
更新一下:现在AI Studio应该已经不能用其他深度学习框架了,用一会儿就会中断前言 PS:本部分主要是对本周工作的总结,标题对应的内容可以跳过本部分上周主要的工作是研究了一下项目utils文件 ...

深度学习-核对矩阵维度

深度学习-核对矩阵维度相关推荐

最新文章

热门文章