《The Elements of Statistical Learning》 chp3 Linear Models for Regression

3.1 线性回归模型假定回归函数E(Y|X)与输入X1,...,Xp是线性关系。 ## 可以扩展到与输入的变换是线性关系，这种扩展叫做 basis-function methods（基函数方法），在Chp5 中讨论。
3.2 输入变量可以是 1.输入的Xj 2.输入的变换，如取对数、开方等 3. basis expansions，如X2=X1的平方，X3=X1的三次方，变成了多项式表示 4. dummy coding 5.interaction between variables，比如：X3=X1*X2。 ## 总之，模型关于参数是线性的。 ## RSS(the residual sum of squares) ## 最小二乘的预测y-hat 是y在输入X生成的列空间上的正交投影 ##若X的列不是相互独立的，软件可以将某些列删掉 ## Rank deficiencies 输入变量p大于训练样本数 ##参数估计值Beta-hat的方差 ##对单个系数进行假设检验，t检验&对多个系数进行显著性检验，F检验 null hypothesis指零假设、原假设 ## Example: Prostate Cancer，base error rate ##the Gauss-Markov Theorm，最小二乘估计出的Beta在所有线性无偏估计中有最小的方差，而ridge regression 是有偏估计。但是可能存在有偏估计量有更小的方差，bias-variance tradeoff。比如：将最小二乘中一些系数设置为0可能会得到一个有偏估计。

转载于:https://www.cnblogs.com/terryhaha/p/6714325.html

《The Elements of Statistical Learning》 chp3 Linear Models for Regression相关推荐

《The elements of statistical learning》
<The elements of statistical learning>是由统计学界三位泰斗级人物Trevor Hastie, Robert Tibshirani和Jerome Fri ...
【资源分享】639页《深度学习：Deep Learning》硬核课程PPT
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 课程名称 Deep Learning 课程地址 https://git ...
The Elements of Statistical Learning的笔记
1. The Problem of Overfitting 1 还是来看预测房价的这个例子,我们先对该数据做线性回归,也就是左边第一张图. 如果这么做,我们可以获得拟合数据的这样一条直线,但是,实际上 ...
《Neural networks and deep learning》概览
最近阅读了<Neural networks and deep learning>这本书(online book,还没出版),算是读得比较仔细,前面几章涉及的内容比较简单,我着重看了第三章& ...
AI：2020年6月23日北京智源大会演讲分享之智能信息检索与挖掘专题论坛——09:55-10:40刘兵教授《Open-World AI and Continual Learning》
AI:2020年6月23日北京智源大会演讲分享之智能信息检索与挖掘专题论坛--09:55-10:40刘兵教授<Open-World AI and Continual Learning> 导 ...
特征工程的宝典-《Feature Engineering for Machine Learning》翻译及代码实现
由O'Reilly Media,Inc.出版的<Feature Engineering for Machine Learning>(国内译作<精通特征工程>)一书,可以说是特征 ...
《A Survey on Transfer Learning》中文版翻译《迁移学习研究综述》
首先感谢(http://blog.csdn.net/magic_leg/article/details/73957331)这篇博客首次将<A Survey on Transfer Learnin ...
太赞！639 页《深度学习：Deep Learning》硬核课程 PPT 下载
课程名称 Deep Learning 课程地址 https://github.com/glouppe/info8010-deep-learning#info8010---deep-lear ...
太赞！639页《深度学习：Deep Learning》硬核课程PPT下载
课程名称 Deep Learning 课程地址 https://github.com/glouppe/info8010-deep-learning#info8010---deep-lear ...

《The Elements of Statistical Learning》 chp3 Linear Models for Regression

《The Elements of Statistical Learning》 chp3 Linear Models for Regression相关推荐

最新文章

热门文章