基于惩罚函数的回归量变选择方法

基于惩罚函数的Beta回归变量选择方法

内容提要：当因变量取值在(0,1)区间的比例数据时，Beta回归是常用的模型，该模型基于因变量服从Beta分布的假设，通过连接函数将样本服从Beta分布的均值与自变量联系起来。本文主要研究基于惩罚函数的Beta回归模型变量选择方法，研究了在LASSO SCAD和MCP三种惩罚方法下的极大似然估计，同时实现了变量选择和回归系数的估计。本文还研究了其渐进性质与Oracle性质，并且给出了计算机模拟。最后，将该方法应用到股息率的影响因素研究中。

关键词：Beta回归；变量选择；惩罚函数；Oracle性质

中图分类号：0212 文献标识码：Avariables via link function. This article main focus on the variable selection for beta regression based on penalized function, giving maximum likelihood estimation with LASSO, SCAD and MCP penalty methods, the variable selection and estimation of coefficients can be conducted at the same time. We also give the proof of its asymptotical and oracle properties and the results of simulations. Finally, we apply this method to select significant factors for dividend rate.

Key Words: Beta Regression; Variable selection; Penalized function; Oracle Properties

一、引言

线性回归模型是的回归模型，，但对因变量限制在区间的，线性回归拟合值落在区间外。法是将因变量到实数区间上用自变量与转换后的因变量的均值建模。然而，这种方法的系数难以解释，而且比例数据通常具有非对称性，正态分布假设下做出的推断可能会导致预测失误。为解决传统回归所存在的问题，Ferrari Cribari-Neto(2004)提出了Beta回归。由于Beta分布的密度函数形状变化十分灵活，能够描述各种各样的分布。Beta回归模型的参数估计和统计诊断可以通过R包betareg实现Cribari-Neto 和Zeileis，2010)。

计算机技术的飞速发展，极大地便利了数据的获取和存储，部门大量的数据，比如股票市场的逐笔交易记录、商业银行交易记录同时这些数据的维度也越来越高从理论上来说，一方面会导致模型不稳健，极大地降低了估计和预测精度；另一方面会加大模型的复杂度，无法突出最的变量。在，大量的自变量减少模型的偏差。常用的有最优子集法subset selection)、逐步(向前、向后)回归法(stepwise)、逐段法(stagewise)等。但是存在许多缺点Fan和Li指出最优子集法遍历所有子集搜索最优解，因此计算成本高，特别是很大时，基本不可能实现求解; Breiman指出逐步回归法缺乏稳定性，对数据的微小变动非常敏感。惩罚函数法是目前高维数据研究领域广受欢迎的一类方法,它通过对模型的回归系数进行约束，使部分系数压缩为零，实现变量选择，克服了传统方法计算量大和稳定性差等缺点。基于最小二乘方法的惩罚回归least absolute shrinkage and selection operator)(Tibshirani,1996)，SCAD( the smoothly clipped absolute deviation)(Fan and Li,2001)和MCP (minimax concave penalty) Zhang，2010)等。这种法随后也被极大似然估计。与传统的变量选择方法不同，的极大似然估计性质，当tuning parameter)选择时，基于非凹惩罚函数的极大似然估计在变量选择方面具有性质，当真实的回归系数为0时，参数估计值依概率收敛到0，而非0系数的估计值与只用非0系数的变量进行回归时具有相同的表现。简而言之，基于非凹惩罚函数的极大似然估计估计好像提前知道了那些系数为0，哪些系数不为0，该种性质被称为Oracle性质。本文的主要目的Beta回归变量选择方法。本文的：第部分介绍了Beta回归模型；第部分介绍惩罚的似然估计渐进性质；第部分计算机模拟；第部分

二、Beta回归模型

Beta回归因变量服从Beta