广义加性模型

传统线性模型所面临的问题：
在现实生活中，变量的作用通常不是线性的。

广义加性模型是一种自由灵活的统计模型，它可以用来探测到非线性回归的影响。模型如下：

E(Y|X1,...,Xp)=α+f1(X1)+f2(X2)+...+fp(Xp)

E(Y|X_1,...,X_p)=\alpha+f_1(X_1)+f_2(X_2)+...+f_p(X_p)

X1,...,XpX_1,...,X_p 是预测器(predictor)，其实就是自变量；
YY是输出；
fjf_j 是非参数函数；
α和fj()是要估计的\alpha和f_j()是要估计的；

直观的理解就是，模型放松了对XX是线性的要求，可以对每个自变量进行非线性的变换。

树模型

感觉ESL里的树模型和决策树的思想类似。

二者都是根据自变量XX来对原始输入空间进行划分。然后使用相应的函数来检测划分子集的纯度怎么样，一次来判断划分的好坏。

《统计学习方法》里说可以将决策树看作是 if−thenif-then 规则，每条路径构建一条判别规则。任意一个实例都被且仅被一条路径覆盖。

ESL中损失函数定义为：

Cα(T)=∑m=1|T|NmQm(T)+α|T|

C_\alpha(T)=\sum^{|T|}_{m=1}N_mQ_m(T)+\alpha|T|

TT 代表树模型，|T||T| 代表叶子的个数；
NmN_m 代表第mm个叶子中的实例个数；
c^m=1Nm∑xi∈Rmyi\hat{c}_m=\frac{1}{N_m}\sum_{x_i\in R_m}y_i；
Qm(T)=1Nm∑x∈Rm(yi−c^m)2Q_m(T)=\frac{1}{N_m}\sum_{x_ \in R_m}(y_i-\hat c_m)^2 ；
α|T|\alpha|T| 是用来做剪枝，控制复杂度用的；

小插曲：
前面的文章曾经介绍过分段多项式：

我感觉这个图可以看成是只有一个连续属性的决策树，即X∈RX\in\mathbb{R}。这里对划分结点的选择是一个值得探讨的问题。这个问题在 knotsknots选择里应该有涉及。

决策树又可分为回归和分类两类，区别在于选取划分点和划分自变量上。对于回归可以使用：

minj,s[minc1∑xi∈R1(j,s)(yi−c1)2+minc2∑xi∈R2(j,s)(yi−c2)2]

min_{j,s}[min_{c_1}\sum_{x_i\in R_1(j,s)}(y_i-c_1)^2+min_{c_2}\sum_{x_i\in R_2(j,s)}(y_i-c_2)^2]

jj 是划分变量；
ss 是划分点；

分类问题可以使用信息增益，基尼指数，增益率等等来做。

参考文章: ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（十二）

广义加性模型和树模型相关推荐

论文阅读_广义加性模型_GAMs
英文题目:Intelligible Models for Classification and Regression 中文题目:可理解的分类和回归模型论文地址:https://www.doc88.c ...
R语言惩罚逻辑回归、线性判别分析LDA、广义加性模型GAM、多元自适应回归样条MARS、KNN、二次判别分析QDA、决策树、随机森林、支持向量机SVM分类优质劣质葡萄酒十折交叉验证和ROC可视化
最近我们被客户要求撰写关于葡萄酒的研究报告,包括一些图形和统计输出. 介绍数据包含有关葡萄牙"Vinho Verde"葡萄酒的信息.该数据集有1599个观测值和12个变量,分别是 ...
R语言广义加性模型（GAMs：Generalized Additive Model）建模：数据加载、划分数据、并分别构建线性回归模型和广义线性加性模型GAMs、并比较线性模型和GAMs模型的性能
R语言广义加性模型(GAMs:Generalized Additive Model)建模:数据加载.划分数据.并分别构建线性回归模型和广义线性加性模型GAMs.并比较线性模型和GAMs模型的性能目录
R语言广义加性模型GAMs：可视化每个变量的样条函数、样条函数与变量与目标变量之间的平滑曲线比较、并进行多变量的归一化比较、测试广义线性加性模型GAMs在测试集上的表现(防止过拟合)
R语言广义加性模型GAMs:可视化每个变量的样条函数.样条函数与变量与目标变量之间的平滑曲线比较.并进行多变量的归一化比较.测试广义线性加性模型GAMs在测试集上的表现(防止过拟合) 目录
R语言广义加性模型（generalized additive models,GAMs）：使用广义线性加性模型GAMs构建logistic回归
R语言广义加性模型(generalized additive models,GAMs):使用广义线性加性模型GAMs构建logistic回归目录
广义典型相关分析_数学建模/机器学习：广义加性模型(GAM)及其Python实现
笔者做过国赛也做过美赛,其中一类典型问题就是分析相关性,从而进行预测或者其他操作.这类问题通常情况下属于比较常规的问题,一般通过matlab或SPSS分析相关性,得到一个较好的数值即可. 然而有的时候 ...
R语言广义加性模型GAMs分析温度、臭氧环境数据绘制偏回归图与偏残差图
最近我们被客户要求撰写关于广义加性模型的研究报告,包括一些图形和统计输出. 视频:R语言广义相加模型(GAM)在电力负荷预测中的应用拓端tecdat:R语言广义相加模型(GAM)在电力负荷预测中的应 ...
R语言使用mgcv包的gam函数拟合广义加性模型回归模型：使用predict函数和训练好的模型进行预测推理、使用ggplot2可视化预测值和实际值的曲线进行对比分析
R语言使用mgcv包的gam函数拟合广义加性模型回归模型:使用predict函数和训练好的模型进行预测推理.使用ggplot2可视化预测值和实际值的曲线进行对比分析目录
R语言使用mgcv包中的gam函数拟合广义加性模型（Generalized Additive Model，GAMs)：从广义加性模型GAM中抽取学习到的样条函数（spline function）
R语言使用mgcv包中的gam函数拟合广义加性模型(Generalized Additive Model,GAMs):从广义加性模型GAM中抽取学习到的样条函数(spline function) 目录

广义加性模型和树模型

广义加性模型

树模型

广义加性模型和树模型相关推荐

最新文章

热门文章