神经网络的学习

  • 1. 代价函数和反向传播
    • 1.1 代价函数
    • 1.2 反向传播算法
    • 1.3 反向传播算法的直观理解
  • 2. 神经网络算法技巧
    • 2.1 参数展开技巧
    • 2.2 梯度检验
    • 2.3 随机初始化参数
  • 3. 神经网络算法步骤
    • 3.1 选择网络结构
    • 3.2 训练神经网络模型
  • 4. 神经网络应用于无人驾驶的实例

1. 代价函数和反向传播

1.1 代价函数

  • 标记方法：m为训练样本个数，每组样本包括一组输入x和一组输出y；L表示神经网络层数；Sl表示第l层的神经元个数；K表示输出单元的个数。
  • 神经网络的分类：二分类和多分类
  • 在神经网络中，我们可能有许多输出节点。我们把 hΘ(x)k表示为导致第k个输出的假设。我们的神经网络的成本函数将会是我们用于逻辑回归的一个综合泛化。神经网络的代价函数为：

1.2 反向传播算法