DJL-Java开发者动手学深度学习之线性回归

线性回归

回归是指一类为一个或多个自变量与因变量之间关系建模的方法。在自然科学和社会科学领域，回归通常用来表示输入和输出之间的关系。

在机器学习领域中的大多数任务通常都与预测有关。当我们想预测一个数值时，就会涉及到回归问题。常见的例子包括：预测股价、预测房价等。但不是所有的预测都是回归问题。后续还我们可能还会写一些解决分类问题的文章，预测一组数据性于数据类型中的某一种。

线性回归的元素

线性回归是一种简单的回归工具。线性回归基于几个简单的假设：

假设自变量 X X X 和因变量 y y y之间的关系是线性关系。既 y y y可以表示为 X X X的加权和，这里通常允许包含观测的一些噪音。
假设在任何噪音都正常的前提下，噪声遵循正态分布。

为了简单解释线性回归，我们可以拿可以拿一个入门级示例，预测房价：我们假设房屋的销售价格与房屋的面积和房龄有关。
为了开发这一个预测房价的模型，我们需要收集一个真实的房屋销售数据集。这个数据集包含房屋的销售价格、面积和房龄。

线性回归模型

在我们假设房屋的售价可以由房屋的面积和房龄加权和表示的话，那我们可以得到下面的公式：
y = a ∗ a r e a + b ∗ a g e + c y = a*area + b*age +c y=a∗area+b∗age+c
在上面公式中， a a a和 b b b称为权重， c c c称为偏移量。为了使我们模型能力表达的更强，在这里，即使房屋的面积和房龄均为0时，我们依然需要设置偏移量。权重 a a a和 b b b决定每一个特征值（面积和房龄）对预测值（房价）的影响。
我们将面积和房龄放到一个特征集合 X X X中，预测值 y ^ ∈ R n \hat y \in R^n y^∈Rn 可以通过矩阵-向量乘法表示，那么预测模型则表求为：
y ^ = X w + b \hat y = Xw + b y^=Xw+b

在我们开始寻找最好的模型参数（model parameters） w w w 和 b b b 之前，我们还需要两个东西：

一种模型质量的度量方式。
一种能够更新模型以提高模型预测质量的方法。

损失函数

我们在开始使用模型拟合数据之前，我们需要确定一个拟合程度的度量。损失函数能够量化目标值和预测值之间的差距，能常我们会选择一个非负数作为损失，数值越小表示拟合越好，预测越完美。回归问题中最常用的损失函数为平方误差函数，其公式如下：
l ( i ) ( w , b ) = 1 2 ( y ^ ( i ) − y ( i ) ) 2 l^{(i)}(w,b) = \cfrac 12(\hat y^{(i)} - y^{(i)})^2 l(i)(w,b)=21(y^(i)−y(i))2

一维函数绘图如下：

为了度量模型在整个数据集上的质量，我们需计算在训练集 n n n个样本上的损失均值（也等价于求和）。
L ( w , b ) = 1 n ∑ i = 0 n 1 2 ( W T X ( i ) + b − y ( i ) ) 2 L(w,b)= \cfrac 1n \sum_{i=0}^n \cfrac 12(W ^T X^{(i)} + b - y^{(i)})^2 L(w,b)=n1i=0∑n21(WTX(i)+b−y(i))2
在训练模型时，我们希望寻找一组参数 ( w ∗ w^∗ w∗, b ∗ b^∗ b∗)，这组参数能最小化在所有训练样本上的总损失。如下式：
w ∗ , b ∗ = a r g m i n w , b L ( w , b ) w^∗,b^∗= \mathop {argmin}_{w,b} L(w,b) w∗,b∗=argminw,bL(w,b)

小批量随机梯度下降

即使在我们无法得到解析解的情况下，我们仍然可以有效地训练模型。在许多任务上，那些难以优化的模型效果要更好。因此，弄清楚如何训练这些难以优化的模型是非常重要的。
这里我们用到一种名为梯度下降的方法来优化深度学习模型。梯度下降通过不断地在损失函数递减的方向上更新参数来降低误差。

用学习到的模型进行预测

到目前为止，我们就可以通过我们给定的线性回归模型 y = W T + b y = W^T + b y=WT+b，来预测通过给定房屋面积 x 1 x_1 x1他房龄 x 2 x_2 x2来预测一个未在训练集中的新房价了。请继续关注公众号，学习我们后续的Java代码实现。