起源

起源：最小二乘法源于天文学和大地测量学领域。因为这两个领域对精度的高要求而被发明。

1801年，意大利天文学家朱塞普·皮亚齐发现了第一颗小行星谷神星。进行了40天的跟踪观测后，但由于谷神星运行到太阳背后，失去了具体位置信息。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中，这个高斯正是著名数学家 卡尔·弗里德里希·高斯 ，没错就是我们大学数学认识的那个高斯。

机器学习本质其实就是求最优解的过程，最小二乘法是回归算法中求最优解的方法之一，还有一个是梯度下降法，以后会讲~。

思考

我们在正式讲最小二乘法之前，读者大大们可以想下下面这个问题

临近中秋，小明想要自己做月饼，现在已知五种规格月饼所需的面粉重量如下：

现在小明想做规格为140g的月饼，请问他需要多少克月饼

现在读者大大们根据平时经验，可以思考下怎么求。

九年义务教育让我看见这种题目就条件反射列方程求未知数，不知道读者大大们是不是也是这样~

原理

我们从另一个角度来看这个问题

我们将这5个月饼用坐标系标出来，如下图 然后我们先用画出一条接近这5个点的线，假设线性关系为

是不是只要我们找出一条最接近这5个点的线就可以了，这样算出来的值是最接近真实值的。

由图可以得出，需要这条线跟这个5个点的误差最小， 每个点跟线的误差如下所示

因为误差是长度，所以要算绝对值，计算起来不方便，用平方来替代

最后将所有误差值累加得出

最小二乘法呼之欲出，这就是最小二乘法的原理了，即让误差的平方总和尽可能小。从求一条最接近这五个点的线的问题转化成求最小化误差的问题。

求解

那么怎么求呢，继续以上面的为例子。这是一个二次函数。总误差的平方：

根据多元微积分，当

这个时候 ϵ 取得最小值，求的a，b的解为

a，b求出后，这条最接近的线也就出来了

进一步

现在假设这条线是 二次函数，结果怎样

我们可以选择不同的 f(x),根据最小二乘法得出不一样的拟合函数。不过选择f(x)还是不能太随意，不然要么不准，要么容易过拟合。

代码实现

整个思路如下

目标函数：代入生成的x，生成对应的y

def real_func(x):  return np.sin(2*np.pi*x)

随机生成10个x进行实验：

x = np.linspace(0, 1, 10)

构造多项式拟合函数：

#多项式def fit_func(p,x):    """    eg:p = np.poly1d([2,3,5,7])

　　　print(p)==>>2x3 + 3x2 + 5x + 7    """    f = np.poly1d(p)    return f(x)

计算误差：

#残差def residuals_func(p, x, y):    ret = fit_func(p, x) - y    return ret

leastsq 是 scipy 库 进行最小二乘法计算的函数，也就是通过误差函数以及数据点进行我们前面讲的对参数进行求导操作，最后得出我们拟合出来的函数。

def fitting(M=0):    """    n 为 多项式的次数    """        # 随机初始化多项式参数    #numpy.random.rand(d0)的随机样本位于[0, 1)之间。d0表示返回多少个    p_init = np.random.rand(M+1) #生成M+1个随机数的列表    # 最小二乘法    p_lsq = leastsq(residuals_func, p_init, args=(x, y)) # 三个参数：误差函数、函数参数列表、数据点    print('Fitting Parameters:', p_lsq[0])

    # 可视化    plt.plot(x_points, real_func(x_points), label='real')    plt.plot(x_points, fit_func(p_lsq[0], x_points), label='fitted curve')    plt.plot(x, y, 'bo', label='noise')    plt.legend()    return p_lsq

    # M=0    p_lsq = fitting(M=0)

我们从一次函数依次增加项式，找到最合适的拟合曲线。

到9次的时候，已经完全拟合这些点了 。

总结

我们可以看出，最小二乘法的原理其实非常简单，运用起来也简洁，应用广泛。但是它也有一定的局限性，比如如果拟合函数不是线性的，就无法用最小二乘法了。还有一点，本文讲的最小二乘法是最简洁的，但是它对噪声的容忍度很低，容易造成过拟合，所以还需要加上正则化，这个有兴趣的读者可以了解下。最小二乘法运用误差角度求最优解的思路是我们机器学习中一个很经典也很常用的思维方向之一，为学习机器学习打下一个好基础。这也是把它放在我们的机器学习系列最开始的原因。

ps:需要完整代码，关注公众号，回复‘最小二乘法’获得~

推荐阅读：

Scala 函数式编程（一） 什么是函数式编程？缓存世界中的三大问题及解决方案

『代码之外』用经济学利息的角度看美债倒挂