1.正则化

原定的损失函数：
J = − 1 m ∑ i = 1 m ( y ( i ) log ⁡ ( a [ L ] ( i ) ) + ( 1 − y ( i ) ) log ⁡ ( 1 − a [ L ] ( i ) ) ) (1) J = -\frac{1}{m} \sum\limits_{i = 1}^{m} \large{(}\small y^{(i)}\log\left(a^{[L](i)}\right) + (1-y^{(i)})\log\left(1- a^{[L](i)}\right) \large{)} \tag{1} J=−m1i=1∑m(y(i)log(a[L](i))+(1−y(i))log(1−a[L](i)))(1)
添加了L2正则化后的损失函数：
J r e g u l a r i z e d = − 1 m ∑ i = 1 m ( y ( i ) log ⁡ ( a [ L ] ( i ) ) + ( 1 − y ( i ) ) log ⁡ ( 1 − a [ L ] ( i ) ) ) ⏟ cross-entropy cost + 1 m λ 2 ∑ l ∑ k ∑ j W k , j [ l ] 2 ⏟ L2 regularization cost (2) J_{regularized} = \small \underbrace{-\frac{1}{m} \sum\limits_{i = 1}^{m} \large{(}\small y^{(i)}\log\left(a^{[L](i)}\right) + (1-y^{(i)})\log\left(1- a^{[L](i)}\right) \large{)} }_\text{cross-entropy cost} + \underbrace{\frac{1}{m} \frac{\lambda}{2} \sum\limits_l\sum\limits_k\sum\limits_j W_{k,j}^{[l]2} }_\text{L2 regularization cost} \tag{2} Jregularized=cross-entropy cost −m1i=1∑m(y(i)log(a[L](i))+(1−y(i))log(1−a[L](i)))+L2 regularization cost m12λl∑k∑j∑Wk,j[l]2(2)

2.梯度计算公式

∂ J ∂ θ = lim ⁡ ε → 0 J ( θ + ε ) − J ( θ − ε ) 2 ε (1) \frac{\partial J}{\partial \theta} = \lim_{\varepsilon \to 0} \frac{J(\theta + \varepsilon) - J(\theta - \varepsilon)}{2 \varepsilon} \tag{1} ∂θ∂J=ε→0lim2εJ(θ+ε)−J(θ−ε)(1)
可以用这个公式验证梯度是否计算正确。

公式推导（非常有意思！）：https://blog.csdn.net/oBrightLamp/article/details/84333111
里面有关于神经网络梯度计算的推导：

3.矩阵求导

3.1对标量的计算

3.1.1 标量对标量

3.1.2 向量对标量

3.1.3 矩阵对标量

3.2 对向量的计算

3.2.1 标量对向量

3.2.2 向量对向量

3.2.3 矩阵对向量

3.3 对矩阵的计算

3.3.1 标量对矩阵

3.3.2 矩阵对矩阵

4 矩阵的导数与迹

4.1 矩阵的导数

4.2 矩阵的迹

对于一个n阶方阵A的迹被定义为方阵A的主对角线的元素之和，通常对方阵的求迹操作写成trA,于是我们有

4.3 性质

附：
1、向量对向量求导

2、标量对向量求导

3、向量对标量求导

4、可能用到的公式

参考：
https://www.cnblogs.com/crackpotisback/p/5545708.html

求导公式大全

标量、向量、矩阵求导大全相关推荐

标量/向量/矩阵求导方法
这篇博客源于在看论文时遇到了一个误差向量欧氏距离的求导,如下: 在看了一堆资料后得出以下结论: 这个结论是怎么来的呢?这就涉及标量/向量/矩阵的求导了.由于标量.向量都可以看做特殊的矩阵,因此就统称为 ...
复数标量/向量/矩阵求导
Wirtinger derivative: 对复标量求导 Wirtinger derivative: 令 z=x+jyz=x+jyz=x+jy,则 f(z)f(z)f(z) 对 zzz 和 zzz 的 ...
矩阵对矩阵求导，标量对矩阵求导，链式法则
Z∈R,Ym∗n,Xa∗bZ \in R,Y_{m*n},X_{a*b} Z∈R,Ym∗n,Xa∗bdZdX=dZdY∗dYdX\frac{dZ}{dX}=\frac{dZ}{dY}*\frac{ ...
【必读】3分钟带你了解标量对矩阵求导方法
这是个人学习笔记,不是原创.来源请查看 "参考文档" 文章目录标量对矩阵的求导基础推导复合函数例题参考文档标量对矩阵的求导基础推导定义标量f对矩阵X的导数,定义为 ...
矩阵/向量/标量间相互求导
矩阵.向量都可以表示成张量的形式,向量是矩阵的特殊形式,按实际应用可分为标量对向量求导,标量对矩阵求导.向量对向量求导.矩阵对标量求导.矩阵对向量求导.矩阵对矩阵求导等,在深度学习的反向传播(BP)中 ...
线性代数之矩阵求导（2）标量函数求导基本法则与公式
线性代数之矩阵求导(2)基本法则与公式前言基本约定标量对向量求导基本法则公式标量对矩阵求导基本法则公式后记前言上篇矩阵求导(1)解决了求导时的布局问题,也是矩阵求导最基础的求导 ...
向量转置的怎么求导_机器学习中的向量求导和矩阵求导
在机器学习的各种关于向量或者矩阵的求导中,经常会出现各种需要转置或者不需要转置的地方,经常会看得人晕头转向.今天我对机器学习中关于这部分的常识性处理方法进行整理并记录下来方便大家参考. 一些约定首先 ...
二阶矩阵转置怎么求_矩阵求导术（下）
本文承接上篇 https://zhuanlan.zhihu.com/p/24709748,来讲矩阵对矩阵的求导术.使用小写字母x表示标量,粗体小写字母表示列向量,大写字母X表示矩阵.矩阵对矩阵的求导 ...
矩阵求导术（上、下）
点击上方"Datawhale",选择"星标"公众号第一时间获取价值内容矩阵求导的技术,在统计学.控制论.机器学习等领域有广泛的应用.鉴于我看过的一些资料或言 ...

标量、向量、矩阵求导大全