神经网络和深度学习（5）-- 逻辑回归

神经网络和深度学习
上一篇	主目录	下一篇

文章结构

1.逻辑回归

【前言】
逻辑回归学习算法，该算法适用于二分类问题，本节将主要介绍逻辑回归的 Hypothesis Function（假设函数）
本文中符号约定见：神经网络和深度学习（4）–符号约定

1.逻辑回归

对于二元分类问题来讲，给定一个输入特征向量X ܺ，它可能对应一张图片，你想识别这张图片识别看它是否是一只猫或者不是一只猫的图片，你想要一个算法能够输出预测，你只能称之为yhat，也就是你对实际值 y的估计。更正式地来说，你想让 yhat 表示 y 等于 1 的一种可能性或者是机会，前提条件是给定了输入特征 ܺ，你想让 yhat 来告诉你这是一只猫的图片的机率有多大。X 是一个݊ n_x X 1维的向量（相当于有݊n_x 个特征的特征向量）。我们用 w 来表示逻辑回归的参数，这也是一个݊ n_x 维向量，参数里面还有b ܾ，这是一个实数（表示偏差）。所以给出输入x以及参数 w 和 ܾ b之后，我们怎样产生输出预测值ݕ̰，一件你可以尝试却不可行的事是让yhat=w^Tx+b ܾ。

这时候我们得到的是一个关于输入 x的线性函数，实际上这是你在做线性回归时所用到的，但是这对于二元分类问题来讲不是一个非常好的算法，因为你想让yhat表示实际值 y等于 1 的机率的话，yhat应该在 0 到 1 之间。这是一个需要解决的问题，因为w^Tx+b可能比 1 要大得多，或者甚至为一个负值。对于你想要的在 0 和 1 之间的概率来说它是没有意义的，因此在逻辑回归中，我们的输出应该是yhat等于由上面得到的线性函数式子作为自变量的 sigmoid 函数中，公式如上图最下面所示，将线性函数转换为非线性函数。

些要注意的事情，如果非常大那么t 将会接近于 0，关于的 sigmoid 函数将会近似等于1 除以 1 加上某个非常接近于 0 的项，因为 t 的指数如果是个绝对值很大的负数的话，这项将会接近于 0，所以如果很大的话那么关于的 sigmoid 函数会非常接近 1。相反地，如果非常小或者说是一个绝对值很大的负数，那么关于t 这项会变成一个很大的数，你可以认为这是 1 除以 1 加上一个非常非常大的数，所以这个就接近于 0。实际上你看到当变成一个绝对值很大的负数，关于的 sigmoid 函数就会非常接近于 0，因此当你实现逻辑回归时，你的工作就是去让机器学习参数以及这样才使得成为对这一情况的概率的一个很好的估计。

神经网络和深度学习系列笔记：传送门