机器学习--Lasso回归（LassoRegression）

机器学习–LassoRegression

基本概念

Lasso 是拟合稀疏系数的线性模型。它在一些情况下是有用的，因为它倾向于使用具有较少参数值的情况，有效地减少给定解决方案所依赖变量的数量。在线性模型基础上，它增加了一个带有 l1l_1l1 先验的正则化项，可以表示为：
minw12nsample∥wTx−y∥22+α∥w∥1\mathop{min}\limits_{w}\frac{1}{2n_{sample}}\Vert w^Tx -y\Vert_2^2 + \alpha\Vert w\Vert_1wmin2nsample1∥wTx−y∥22+α∥w∥1
其中， α\alphaα 是一个常数， ∣∣w∣∣1||w||_1∣∣w∣∣1 是参数向量的 l1l_1l1-norm 范数。

# coding=utf-8
from sklearn import datasets
from sklearn.linear_model import Lasso
from pylab import *
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error, r2_scoreif __name__ == '__main__':all_data = datasets.load_boston()x_train, x_test, y_train, y_test = train_test_split(all_data.data, all_data.target, test_size=0.3)# alpha 参数控制估计系数的稀疏度alphas = [0.0001, 0.001, 0.01, 0.1, 1, 10, 100, 1000]scores = []mses = []r2s = []for alpha in alphas:model = Lasso(alpha)model.fit(x_train, y_train)prediction = model.predict(x_test)scores.append(model.score(x_test, y_test))mses.append(mean_squared_error(y_test, prediction))r2s.append(r2_score(y_test, prediction))plt.plot(alphas, mses, marker="v")plt.title('LassoRegression')plt.xscale('symlog')plt.xlabel(r'$\alpha$')plt.ylabel(r'mean squared error')plt.show()

机器学习--Lasso回归（LassoRegression）相关推荐

机器学习 Lasso回归算法
Lasso回归算法: 坐标轴下降法与最小角回归法小结前面的文章对线性回归做了一个小结,文章在这: 线性回归原理小结.里面对线程回归的正则化也做了一个初步的介绍.提到了线程回归的L2正则化-Ridge ...
【机器学习基础】数学推导+纯Python实现机器学习算法13：Lasso回归
Python机器学习算法实现 Author:louwill 第13讲和第14讲我们来关注一下回归模型的两个变种模型.本节我们要介绍的是基于L1正则化的Lasso模型,下一节介绍基于L2正则化的Ridg ...
【机器学习】正则化的线性回归 —— 岭回归与Lasso回归
python风控评分卡建模和风控常识(博客主亲自录制视频教程) https://study.163.com/course/introduction.htm?courseId=1005214003&am ...
python 怎么算l2范数_数学推导+纯Python实现机器学习算法13：Lasso回归
版权说明:本公号转载文章旨在学习交流,不用于任何商业用途,版权归原作者所有,如有异议,敬请后台联络我们,议定合作或删除,我们将第一时间按版权法规定妥善处理,非常感谢! Python机器学习算法实现 A ...
机器学习十大经典算法之岭回归和LASSO回归
机器学习十大经典算法之岭回归和LASSO回归(学习笔记整理:https://blog.csdn.net/weixin_43374551/article/details/83688913
[机器学习-实践篇]学习之线性回归、岭回归、Lasso回归，tensorflow实现的线性回归
线性回归.岭回归.Lasso回归前言 1.线性回归 2. 岭回归 3. Lasso回归 4. tensorflow利用梯度下降实现的线性回归前言本章主要介绍线性回归.岭回归.Lasso回归,te ...
[机器学习-原理篇]学习之线性回归、岭回归、Lasso回归
线性回归.岭回归.Lasso回归前言一,线性回归--最小二乘二,Lasso回归三,岭回归四, Lasso回归和岭回归的同和异五, 为什么 lasso 更容易使部分权重变为 0 而 ridg ...
机器学习总结(一)：线性回归、岭回归、Lasso回归
机器学习总结(一):线性回归.岭回归.Lasso回归参考网址:https://blog.csdn.net/hzw19920329/article/details/77200475 主要是岭回归(脊回 ...
【人工智能】机器学习：岭回归与LASSO回归(Ridge/LASSO Regression)
机器学习:岭回归与LASSO回归 (Ridge / LASSO Regression) 文章目录机器学习:岭回归与LASSO回归 (Ridge / LASSO Regression) 1. Ridg ...

机器学习--Lasso回归（LassoRegression）

机器学习–LassoRegression

基本概念

机器学习--Lasso回归（LassoRegression）相关推荐

最新文章

热门文章