吴恩达机器学习学习笔记第九章：神经网络学习

课时①非线性假设

通过说Linear Regression和logistic Regression的不足来引入神经网络：

安卓告诉我们神经网络并不是什么新玩意儿，老早就有了，但是他经过了一段低迷期直到了、最近才又火了起来后面一集视频又补充神经网络低迷期的原因是之前计算机硬件水平不够而神经网络的计算量很大并介绍了一些生物上关于图像识别的例子去类介绍神经网络实际受启发于人类神经系统。

假如有一个这样的监督问题你如果采用逻辑回归去做分类那你得构造一个非常多的项

才可能把圈和叉分开(g仍然是sigmoid函数)

上述问题只有x1 x2两个特征，但如果这个问题变成卖掉我想根据房屋的特征去卖掉这个房屋概率问题一个房屋的特征有很多

即使假设函数的多项式只包含二次项那你都会在n=100情况下排列组合出超级多的项

所以这不是一个好方法

有人说：如果我们不看交叉项只看平方项就减少到了100项运算效率大大提高了但是他忽略了一个问题就是这如此多个交叉项中肯定有很多都是对分类结果起决定因素的关键项所以忽视这些交叉项会导致处理数据时不可能得到理想结果，没有交叉项你最多拟合一个椭圆这种规则的曲线而无法拟合出下图例子中的那条弯来弯去的线

一般来说x1x2的交叉项的复杂度是O(n^2) x1x2x3的交叉项是O(n^3) 而我们要想得到一个好的分类至少要让复杂度在O(n^2)级别

当到了计算机图形学中，普通的线性回归和逻辑回归就GG了

为什么这么说呢?

识别一个汽车在下图的红框的中对计算机而言就是一个关于像素点亮度的大矩阵

对于这样一张的50*50大小的图片加上RGB三种颜色那他就有7500个特征

根据上文提到的至少是O（n^2）那7500的平方=56250000……如果还是用逻辑回归就算你的计算机硬件特别NB 你训练用的时间也会特别长

如图所示为根据这个矩阵，计算机可以推测这个红框里的内容对应一个车门把手

课时② 神经元与大脑：

他举了一个生物学的例子：把耳朵到听觉皮层的神经连接切断后，把听觉感受器链接到视觉皮层，使得眼睛经由视觉神经传递的信号最终传到听觉皮层，那么这个皮层区域将学会感知新的东西，这样耳朵就能学会看。

还举了一个帮助盲人的应用：头上是一个色相头一样的东西，舌头上是一个电极，用了这套装置是就能重见光明了

课时③模式展示Ⅰ：

首先模拟神经元的最简单的一个模型

把来的xi乘一个参数 θ进行Linear Regression的结果给神经元（橙色圈圈）对这些结果做Logistic Regression（如sigmoid处理）得到最后的输出值，我们把整个过程称为Logistic unit

上图中的bias是指的θ0 乘以x0 (x0默认所以有的时候图中隐藏了且x0=1）所以相当于是4个元素相乘再相加

神经网络(Neural NetWork)就是把多个神经元进行交织

网络第一层叫输入层(Input layer) 最后一层称为输出层(Output layer) 中间那层/那几层(普遍情况下有多层本例只有一层)被称为隐藏层（Hidden layer）

下面是流程图对应在公式上的样子举例：

首先解释一下代表第一个Neural的第二层

右上角的1代表第一层（即第一列输入层）的,针对第二层第一个神经元的x2元素的参数θ12

首先做一个linear regression ：x1乘以 θ1加x2乘以 θ2加x3乘以 θ3 别忘了还要加一个bias 所以再加x0乘以 θ0 在对上式的结果做一个logistic regression即给他套一个g(f(x))函数的复合

每一层的θ他实际是一个矩阵对应红色的圈对应的矩阵是3行4列的行数是下一层的Neural个数列数是上一层的Neural个数加1 而黄色的圈对应是1行4列的

神经网络强大之处：

其实就是在他提炼特征，因为我的hypothesis想越复杂越精准，那我多项式的次数就要求越高比如我上图x1 x2 x3我想要搞3次方那就有3^3=27个参数需要训练，但是经过神经网络处理后，我把x1 x2 x3经过linear regression变成了新的3个a1 a2 a3 加上原来的3个特征也只有6个特征远小于27（当特征更多时效果更明显）

课时④：模型展示II：

向量化计算：前向传播(forward propagation)

课时⑤：例子与直觉理解I：

先举了一个逻辑与（AND）的例子：

以及对应真值表：

课时⑥：例子与直觉理解II：

把三块内容组合到网络中：

本节视频最后，安卓放了一个手写数字识别的小视频

课时⑦：多元分类：

上个课时的数字识别其实就是10种数字0~9的多元分类。

然后又举了个识别的例子：

之前逻辑回归也学过一对多分类：当时类别是这样的

神经网络不这么做了，而是用向量表示。

此时我们的训练集长这样：