0. 前言

线性回归试图学得一个线性模型以尽可能准确的预测实值输出。

f(x)=wTx+bf(x)=w^Tx+b f(x)=wTx+b
其中，xxx为多元向量，www为权重向量，bbb为偏置。

1. 线性回归参数求解方法

梯度下降法：定义代价函数（例如：均方误差），按照梯度方向修改参数以最快降低代价函数，wj=wj−α1m∑i=1m(y^(i)−y(i))xj(i)w_j=w_j-\alpha\frac{1}{m}\sum_{i=1}^m(\hat{y}^{(i)}-y^{(i)})x_j^{(i)}wj=wj−αm1∑i=1m(y^(i)−y(i))xj(i)。

正规方程：通过w^=(XTX)−1XTy\hat{w}=(X^TX)^{-1}X^Tyw^=(XTX)−1XTy直接求解，当矩阵不可逆时（多发生在n⩾mn\geqslant mn⩾m时），可删除冗余的特征或采用正则化。

矩阵逆运算的时间复杂度通常为O(n3)O(n^{3})O(n3)，所以当 n 较大时，建议使用梯度下降。

2. 线性回归正则化

2.1. 岭回归

L2范数正则化，又称作岭回归（ridge regression）。

正则化项表示为：λ∥w∥22\lambda\left\|w\right\|_2^2λ∥w∥22，对应正规方程表示为：w^=(XTX+λI)−1XTy\hat{w}=(X^TX+\lambda I)^{-1}X^Tyw^=(XTX+λI)−1XTy。

2.2. LASSO

L1范数正则化，又称作LASSO（Least Absolute Shrinkage and Selection Operator）。

正则化项表示为：λ∥w∥1\lambda \left\|w\right\|_1λ∥w∥1

L1范数正则化比L2范数正则化更容易获得稀疏解。

3. 局部加权线性回归

局部加权线性回归（Locally Weighted Linear Regression）给待测点附近的每个点赋予一定的权值。

高斯核函数表示为：w(i,i)=exp⁡(−∥x(i)−x∥22σ2)w(i,i)=\exp(-\frac{\left\|x^{(i)}-x\right\|^2}{2\sigma^2})w(i,i)=exp(−2σ2∥x(i)−x∥2)

建立权值矩阵WWW，只含对角线元素，则正规方程表示为：w^=(XTWX)−1XTWy\hat{w}=(X^TWX)^{-1}X^TWyw^=(XTWX)−1XTWy。

4. 广义线性模型

广义线性模型（generalized linear model）定义为：
y=g(wTx+b)y=g(w^Tx+b) y=g(wTx+b)
其中，g(⋅)g(\cdot)g(⋅)称为联系函数，对数线性回归是g(⋅)=exp⁡(⋅)g(\cdot)=\exp(\cdot)g(⋅)=exp(⋅)。

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

西瓜书+实战+吴恩达机器学习（四）监督学习之线性回归 Linear Regression相关推荐

西瓜书+实战+吴恩达机器学习（二）机器学习基础（偏差、方差、调试模型技巧）
文章目录 0. 前言 1. 偏差方差的解决方法 2. 高偏差高方差的学习曲线 3. 调试模型技巧如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言泛化误差可分解为 ...
西瓜书+实战+吴恩达机器学习（十四）无监督学习之聚类（k-means, LVQ, 高斯混合聚类, DBSCAN, AGNES）
文章目录 0. 前言 1. 性能度量 1.1. 外部指标 1.2. 内部指标 2. 距离计算 3. k-means算法 4. 学习向量量化 5. 高斯混合聚类 6. 密度聚类 DBSCAN 7. 层次 ...
西瓜书+实战+吴恩达机器学习（十五）无监督学习之关联分析（Apriori, FP-growth）
文章目录 0. 前言 1. Apriori算法 1.1. 寻找频繁项集 1.2. 挖掘关联规则 2. FP-growth算法 2.1. 构建FP树 2.2. 寻找频繁项集如果这篇文章对你有一点小小的 ...
西瓜书+实战+吴恩达机器学习（二二）概率图模型之马尔可夫随机场
文章目录 0. 前言 1. 马尔可夫随机场结构 2. 近似推断 2.1. Metropolis-Hastings 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言 ...
西瓜书+实战+吴恩达机器学习（二一）概率图模型之贝叶斯网络
文章目录 0. 前言 1. 贝叶斯网络结构 2. 近似推断 2.1. 吉布斯采样 3. 隐马尔可夫模型HMM 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言概率 ...
西瓜书+实战+吴恩达机器学习（十九）特征选择（过滤式选择、包裹式选择）
文章目录 0. 前言 1. 过滤式选择 2. 包裹式选择如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言特征选择是一个很重要的数据预处理过程: 选择出重要的特征 ...
西瓜书+实战+吴恩达机器学习（十八）降维（主成分分析 PCA）
文章目录 0. 前言 1. 主成分分析PCA 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言维数灾难:在高维情形下出现的数据样本稀疏.距离计算困难等问题. 缓解 ...
西瓜书+实战+吴恩达机器学习（十七）规则学习（序贯覆盖）
文章目录 0. 前言 1. 序贯覆盖如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言规则学习是从训练数据中学习出一组能用于对未见示例进行判别的规则. ⊕←f1∧ ...
西瓜书+实战+吴恩达机器学习（十六）半监督学习（半监督SVM、半监督k-means、协同训练算法）
文章目录 0. 前言 1. 半监督SVM 2. 半监督k-means 2.1. 约束k-means 2.2. 约束种子k-means 3. 协同训练算法如果这篇文章对你有一点小小的帮助,请给个关注, ...

西瓜书+实战+吴恩达机器学习（四）监督学习之线性回归 Linear Regression

文章目录