最小二乘法

在线性回归中，听的最多的应该算是最小二乘法了。最小二乘法在具体实现过程中保留核心思想的同时，会在算法上进行不同程度的改进，因此，最小二乘法有很多演变体，例如：递推最小二乘法，加权最小二乘法。这些都会根据实际情况而变化。本文，主要讲一下我对最小二乘法的理解。

所谓“最小二乘法”，least squares method，从字面上看，least就是一个最优化问题的体现，因此，最小二乘法是一个最优化问题(optimization problem)。

概念

什么是回归

我的理解：当自变量和因变量存在某种函数关系可以用来近似描述时，我们把这种行为叫做回归。而这个函数叫做回归函数。

回归的意义

回归可以帮助我们对因变量进行预测，根据以往的数据和回归函数，我们能大致预测接下来的因变量的走势。这个在股市上用的很多，在一些时间序列问题上也应用广泛。

我们假设我们有一组数，

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

import random

x=np.linspace(0,10,10)

random.seed()

y=np.linspace(5,15,10)+[random.uniform(-5,5) for _ in range(10)]

print(y)

plt.scatter(x,y)

plt.show()

生成了一组随机数，然后我们想用一种函数来描述横轴x和纵轴y的关系，我们先假设是线性关系，hypothesis function就为H(x)=\theta_0+\theta_1*x

如果我们得到了\theta_0, \theta_1，那么我们的回归函数就得以确定。通过x就可以计算出对应的y。

如何得到H(x)

要让我们的假设函数对真实数据描述性更强，也就是假设函数更接近真实数据的分布。那么他们两者之间的误差就应该达到最小。

于是，我们得到cost function,

J(\theta_0, \theta_1)=\frac{1}{2m}\sum_{i=1}^m(H(x^{(i)})-y^{(i)})^2

对每个离散值和计算值进行误差平方再求和计算总误差。

这时候，我们目标就是计算：

minimize J(\theta_0, \theta_1)

以上就是最小二乘法的概念。

梯度下降法

最小二乘法是一种优化问题的想法，梯度下降法是实现这种优化想法具体的一种求解方法。

在最小二乘法问题中求解minimize J(\theta_0, \theta_1)过程中，如果是线性问题，我们可以尝试用矩阵也就是normal equation。这里只需要确保(x^Tx)^{-1}是存在的。当然这也是矩阵计算的一个局限性。

正常比较万能的方法，就是梯度下降法(不要说他慢)。

梯度下降法的本质就是迭代。通过迭代更新\theta值，逐渐找到J(\theta_0,\theta_1)的最小值。

从上图可以发现，纵轴的J值随着横轴迭代次数的增加，逐渐变小。

算法思路

我们已知cost function J(\theta_0, \theta_1)=\frac{1}{2m}\sum_{i=1}^m(H(x^{(i)})-y^{(i)})^2

我们的目标函数是minimize J(\theta_0, \theta_1)

因此，让J(\theta_0, \theta_1)分别对 \theta_0, \theta_1求偏导。

得到，

\frac{\partial J(\theta_0, \theta_1)}{\partial \theta_0} = \frac{1}{m}\sum_{i=1}^m(x^{(i)})-y^{(i)})

\frac{\partial J(\theta_0, \theta_1)}{\partial \theta_1} = \frac{1}{m}\sum_{i=1}^m(x^{(i)})-y^{(i)})x_i

对\theta进行更新：

\theta_0: \theta_0-\alpha \frac{\partial J(\theta_0)}{\partial \theta_0}

\theta_1: \theta_1-\alpha \frac{\partial J(\theta_1)}{\partial \theta_1}

thetaSet=np.array(thetaSet)

J=np.zeros((50,50))

theta0Max,theta0Min=max(thetaSet[:,0]),min(thetaSet[:,0])

theta1Max,theta1Min=max(thetaSet[:,1]),min(thetaSet[:,1])

theta0=np.linspace(0,1.8,50)

theta1=np.linspace(0,1.8,50)

T0,T1=np.meshgrid(theta0,theta1)

for i in range(50):

for j in range(50):

J[i,j]=sum((theta0[i]+theta1[j]*x-y)**2)/len(x)

plt.contour(T0,T1,J)

plt.scatter(thetaSet[:,0],thetaSet[:,1])

plt.ylabel('theta 1')

plt.xlabel('theta 0')

plt.scatter(thetaSet[-1,0],thetaSet[-1,1],c="r",s=300,alpha=0.5)

plt.show()

在这里五彩线是梯度线，我们可以看出，我们初始\theta为[0,0]，然后\theta逐渐向最小cost逼近，最后到达[1.6,1.6]的位置。

最终线性拟合

在梯度下降法里，我们还会有增量梯度下降法等等，但都是为了更快实现逼近而设计的，这个根据具体需求具体分析。