要给出监督学习准确的定义并不容易，因为每本参考资料中都给出了不同的解释，虽然核心的思想是相同的，但是再

写博客的时候，总得选择自己满意的定义。在监督学习这个概念上，我选择以李航老师的统计学习方法中的定义作为

标准，监督学习(supervisedlearning)的任务是一个学习模型，使模型能够对任意给定的输入，对其相应的输出做出

一个好的预测（注意：这里的输入何输出，是指某个系统的输入、输出，与学习的输入、输出不同）。

1. >>> from sklearn import linear_model
2. >>> clf = linear_model.LinearRegression()
3. >>> clf.fit ([[0, 0], [1, 1], [2, 2]], [0, 1, 2])
4. LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False)
5. >>> clf.coef_
6. array([ 0.5,  0.5])

1. 输出：
2. Coefficients:
3. [ 938.23786125]
4. Residual sum of squares: 2548.07
5. Variance score: 0.47

1. print(__doc__)
2. # Code source: Jaques Grobler
3. # License: BSD 3 clause
4. import matplotlib.pyplot as plt
5. import numpy as np
6. from sklearn import datasets, linear_model
7. # Load the diabetes dataset
8. diabetes = datasets.load_diabetes()
9. # Use only one feature
10. diabetes_X = diabetes.data[:, np.newaxis]
11. diabetes_X_temp = diabetes_X[:, :, 2]
12. # Split the data into training/testing sets
13. diabetes_X_train = diabetes_X_temp[:-20]
14. diabetes_X_test = diabetes_X_temp[-20:]
15. # Split the targets into training/testing sets
16. diabetes_y_train = diabetes.target[:-20]
17. diabetes_y_test = diabetes.target[-20:]
18. # Create linear regression object
19. regr = linear_model.LinearRegression()
20. # Train the model using the training sets
21. regr.fit(diabetes_X_train, diabetes_y_train)
22. # The coefficients
23. print('Coefficients: \n', regr.coef_)
24. # The mean square error
25. print("Residual sum of squares: %.2f"
26. % np.mean((regr.predict(diabetes_X_test) - diabetes_y_test) ** 2))
27. # Explained variance score: 1 is perfect prediction
28. print('Variance score: %.2f' % regr.score(diabetes_X_test, diabetes_y_test))
29. # Plot outputs
30. plt.scatter(diabetes_X_test, diabetes_y_test,  color='black')
31. plt.plot(diabetes_X_test, regr.predict(diabetes_X_test), color='blue',
32. linewidth=3)
33. plt.xticks(())
34. plt.yticks(())
35. plt.show()

1. >>> from sklearn import linear_model
2. >>> clf = linear_model.Ridge (alpha = .5)
3. >>> clf.fit ([[0, 0], [0, 0], [1, 1]], [0, .1, 1])
4. Ridge(alpha=0.5, copy_X=True, fit_intercept=True, max_iter=None,
5. normalize=False, solver='auto', tol=0.001)
6. >>> clf.coef_
7. array([ 0.34545455,  0.34545455])
8. >>> clf.intercept_
9. 0.13636...

RidgeCV 的岭回归中实现了参数alpha的交叉验证。RidgeCV与GridSearchCV的实现原理一样，只是RidgeCV用的方法是广义交叉验证（GCV），而GridSearchCV则用的是一对一交叉验证（leave-one-out cross-validation）。

Lasso是估计稀疏系数的线性模型。Lasso总是倾向于解决参数较少的问题，并可以有效的减少解决方案依赖的变量参数。为此，Lasso及其变形

是压缩感知领域的基础，在特定的情况下，Lasso可以恢复非零权重的准确集合。

Lasso是由正则化参数组成的线性模型，目标函数为：

为常数，范数为参数向量的主题。

 Lasso使用梯度下降法拟合系数，另一种实现方法参考 Least Angle Regression 。

>>> from sklearn import linear_model
>>> reg = linear_model.Lasso(alpha = 0.1)
>>> reg.fit([[0, 0], [1, 1]], [0, 1])
Lasso(alpha=0.1, copy_X=True, fit_intercept=True, max_iter=1000,
   normalize=False, positive=False, precompute=False, random_state=None,
   selection='cyclic', tol=0.0001, warm_start=False)
>>> reg.predict([[1, 1]])
array([ 0.8])

例子:

• Lasso and Elastic Net for Sparse Signals
• Compressive sensing: tomography reconstruction with L1 prior (Lasso)

注意 使用Lasso进行特征选择

由于Lasso能够处理稀疏的线性模型，因此Lasso可以用做特征选择 ，详细请参见 L1-based feature selection。