第二课 传统神经网络

《深度学习》整体结构：

线性回归 -> 神经网络 -> 卷积神经网络（CNN）-> 循环神经网络（RNN）- LSTM

目标分类（人脸识别，物品识别，场景识别，文字识别），目标检测（安防，自动驾驶），视频分类（视频检索），语句生成（自动翻译，智能对话）

提纲：

1. 神经网络起源：线性回归

2. 从线性到非线性

3. 神经网络的构建

4. 神经网络的“配件”

 期待目标：

1. 了解从线性到非线性回归的转化

2. 明白如何构建神经网络，了解不同激励函数的区别联系

3. 掌握“配件”对神经网络性能的影响（损失函数 Cost，学习率 Learning Rate，动量，过拟合），会“调参”

4. 明白本节所有的“面试题”

线性回归：

1. 概念：线性关系来描述输入到输出的映射关系

2. 应用场景：网络分析，银行风险分析，基金股价预测，天气预报

线性回归：

一个线性回归问题

目标方程：y = ax1 + bx2 + cx3 + d

参数： m = [a, b, c, d]

数据：[(x1,1, x2,1,x3,1), (), (), ()]

预测：yt = ax1,t + bx2,t + cx3,t + d

目标：minimize (yt - yt)

总结：线性函数是一维函数，y = ax1 + bx2 + cx3 + d

现在要计算最佳参数 m = [a, b, c, d]

给定数据，计算出预测值，预测值与真实值计算Cost，当Cost最小的时候计算出 m = [a, b, c, d]

优化方法：梯度下降法

模型参数

当前 m0 = [a0, b0, c0, d0]

每一步 m?

参数 m = [a, b, c, d]

梯度下降：梯度计算

Loss = ax1 + bx2 + cx3 + d -y

梯度下降：参数更新

梯度下降法总结：

1. 随机初始化参数

开启循环 t= 0, 1, 2

带入数据求出结果 yt

与真值比较得到loss = y - yt

对各个变量求导得到 m

更新变量 m

线性回归的局限性：线性回归能够清楚的描述分割线性分布的数据，对非线性分布的数据描述较弱

非线性激励

考量标准：

1. 正向对输入的调整

2. 反向梯度损失

神经网络构建

神经元的“并联”和“串联”

从第一层神经网络到最终输出，每一个神经元的数值由前一层神经元数值，神经元参数W，b以及激励函数共同决定第n+1层，第k个神经元的方程，可由公式表示为：

在这里，m表示第n层神经网络的宽度，n为当前神经网络的深度

并联：深度，串联：宽度

MINIST 神经网络分类：

course_2_tf_nn.py

结构变化影响：

1. “并联”宽度影响

2. “串联”层数影响

3. Dropout

4. Learning rate

1. 损失函数 - Loss

影响深度学习性能最重要因素之一。是外部世界对神经网络模型训练的直接指导。

合适的损失函数能够确保深度学习模型收敛

设计合适的损失函数是研究工作的主要内容之一

总结：

1. 神经网络起源：线性回归

2. 从线性到非线性

3. 神经网络的构建

4. 神经网络的“配件”

下节课预告：链式规则反向求导，SGD优化原理，卷积神经网络（CNN）各个layers介绍

第二节课的代码

https://github.com/wiibrew/DeepLearningCourseCodes/blob/master/course_2_tf_nn.py

https://github.com/wiibrew/DeepLearningCourseCodes/blob/master/course_2_tf_nn.ipynb

具体通过TensorFlow构建神经网络的过程，通过Pycharm和 Python Notebook来完成实验，调参还部署很熟练。

TensorFlow 对数据进行简单的可视化实验：

 http://playground.tensorflow.org/