但是，深度学习对数学的要求，包括微积分、线性代数和概率论与数理统计等，让大部分的有理想抱负青年踟蹰前行。那么问题来了，理解深度学习，到底需不需要这些知识？

关于深度学习，网上的资料很多，不过大部分都不太适合初学者。杨老师总结了几个原因：

深度学习确实需要一定的数学基础。如果不用深入浅出地方法讲，有些读者就会有畏难的情绪，因而容易过早地放弃。

中国人或美国人写的书籍或文章，普遍比较难。

深度学习所需要的数学基础并没有想象中的那么难，只需要知道导数和相关的函数概念即可。假如你高等数学也没学过，很好，这篇文章其实是想让文科生也能看懂，只需要学过初中数学。

不必有畏难的情绪，我比较推崇李书福的精神，在一次电视采访中，李书福说：谁说中国人不能造汽车？造汽车有啥难的，不就是四个轮子加两排沙发嘛。当然，他这个结论有失偏颇，不过精神可嘉。

怎么求偏导数？

绕了半天，终于该求偏导出场了。目前的情况是：

我们假定一个神经网络已经定义好，比如有多少层，每层有多少个节点，也有默认的权重和激活函数等。输入（图像）确定的情况下，只有调整参数才能改变输出的值。怎么调整，怎么磨合？

每个参数都有一个默认值，我们就对每个参数加上一定的数值∆，然后看看结果如何？如果参数调大，差距也变大，那就得减小∆，因为我们的目标是要让差距变小；反之亦然。

所以为了把参数调整到最佳，我们需要了解误差对每个参数的变化率，这不就是求误差对于该参数的偏导数吗？

这里有两个点：一个是激活函数，主要是为了让整个网络具有非线性特征。我们前面也提到了，很多情况下，线性函数没办法对输入进行适当的分类（很多情况下识别主要是做分类）。

那么就要让网络学出来一个非线性函数，这里就需要激活函数，因为它本身就是非线性的，所以让整个网络也具有了非线性特征。

另外，激活函数也让每个节点的输出值在一个可控的范围内，计算也方便。

貌似这样解释还是很不通俗，其实还可以用撩妹来打比方：女生都不喜欢白开水一样的日子，因为这是线性的，生活中当然需要一些浪漫情怀了，这个激活函数嘛，我感觉类似于生活中的小浪漫，小惊喜。

相处的每个阶段，需要时不时激活一下，制造点小浪漫，小惊喜。比如，一般女生见了可爱的小杯子，瓷器之类都迈不开步子，那就在她生日的时候送一个特别样式，让她感动得想哭。

前面讲到男人要幽默，这是为了让她笑，适当的时候还要让她激动得哭。一哭一笑，多整几个回合，她就离不开你了。因为你的非线性特征太强了。

当然，过犹不及，小惊喜也不是越多越好，但完全没有就成白开水了。就好比每个 layer 都可以加激活函数，当然，不见得每层都要加激活函数，但完全没有，那是不行的。

关键是怎么求偏导。图 2 和图 3 分别给了推导的方法，其实很简单，从右至左挨个求偏导就可以。相邻层的求偏导很简单，因为是线性的，所以偏导数其实就是参数本身嘛，就跟求解 x₃ 的偏导类似。然后把各个偏导相乘就可以了。

这里有两个点：一个是激活函数，其实激活函数也没啥，就是为了让每个节点的输出都在 0 到 1 的区间，这样好算账，所以在结果上面再做了一层映射，都是一对一的。

由于激活函数的存在，在求偏导的时候，也要把它算进去，激活函数，一般用 sigmoid，也可以用 Relu 等。激活函数的求导其实也非常简单：

求导： f'(x)=f(x)*[1-f(x)]

这个方面，有时间可以翻看一下高数，如果没时间，直接记住就行了。至于 Relu，那就更简单了，就是 f(x) 当 x<0 的时候 y 等于 0，其他时候，y 等于 x。

当然，你也可以定义你自己的 Relu 函数，比如 x 大于等于 0 的时候，y 等于 0.01x，也可以。