基于L2,1范数的特征选择方法
本文来自于论文Feiping Nie, Heng Huang, Xiao Cai, Chris H. Q. Ding. Efficient and Robust Feature Selection via Joint L2,1-Norms Minimization,NIPS,pp.1813-1821, 2010的阅读心得总结
该论文提出了一种基于损失函数和正则项的L2,1L2,1L_{2,1}范数来实现一种高效、鲁棒的特征选择方法，并提供了算法分析和收敛性分析。
首先对比了L1L1L_{1}和L2L2L_{2}范数的特点：
- L1L1L_{1}和L2L2L_{2}范数表现出一种结构化的正则化技术，但是主要用于二分类；而L2,1范数则是用于多分类
- L2L2L_{2}范数对野点非常敏感，基于L2,1L2,1L_{2,1}范数的损失函数能够去除野点
- L2L2L_{2} 范数倾向于ω 的分量取值尽量均衡，即非零分量个数尽量稠密，而L0L0L_{0} 范数和L1L1L_{1}范数，则倾向于ω 的分量尽量稀疏，即非苓分量个数尽量少
论文的创新点在于：
- 受到L2,1L2,1L_{2,1}范数的启发，将L2,1L2,1L_{2,1}范数推广到一般情况，即Lr,pLr,pL_{r,p}范数，同时证明了该范数满足范数的三个条件。
相关的讨论为：
- 将损失函数的优化问题写成一种矩阵的形式，对利用Lagrange对该问题进行了优化，提出了一种比较有效、快速的算法。
首先是，将损失函数的L2L2L_{2}范数全部转化为L2,1L2,1L_{2,1}范数，即可以同步优化，为后面的优化过程提供了条件。
在该最小化目标函数的优化中，等价转化优化问题：
更进一步：
写成矩阵形式：
记：
即为
利用Lagrange方法，转化为：
求导（相关求导公式可以查看另外一篇博客）矩阵L2,1范数及矩阵L2,p范数的求导：
其中
是对角阵，即有：
结合上式即有
此时U即为全局最优解，由于D矩阵中包含有U，因此需要迭代求解。算法步骤为：
关于迭代求解的收敛性证明（证明过程看论文），主要运用了引理：
同时，将该优化问题推广到更一般的情况（D仍为对角阵，f(U)是凸函数）：
迭代式：
该算法对基因组和蛋白质组生物标志物进行了实验，取得了高效、高准确度的效果。
基于L2,1范数的特征选择方法相关推荐
- 文献记录(part54)--软件缺陷预测中基于聚类分析的特征选择方法
学习笔记,仅供参考,有错必究 关键词:软件质量保障:缺陷预测:数据挖掘:特征选择:聚类分析 软件缺陷预测中基于聚类分析的特征选择方法 摘要 软件缺陷预测通过挖掘软件历史仓库 , 构建缺陷预测模型来预测 ...
- 科学论文1-软件缺陷预测中基于聚类分析的特征选择方法
国家科学基地有超级工程:两弹一星.航天发射中心,有国家科学研究院所和企业研发基地,包括山东的高速铁路研发中心,天津.广东广州和江苏无锡的高性能计算中心等.在此创建科学论文阅读中心,主要是计算机.电子系 ...
- 基于最大相关最小冗余的特征选择方法MRMR
基于最大相关最小冗余的特征选择方法MRMR By:Yang Liu 1.什么是特征选择 经典的特征选择定义为:依据某个准则,从N个特征集合中选出M个特征的子集(M=<N),以达到降低特征空间维数 ...
- 互信息特征选择python_基于互信息的特征选择方法杂谈
我们现在处于一个数据驱动的时代,但并不是所有的数据都是有意义的.只有有效的数据才能 带给我们"信息",无效的数据并不能带给我们"信息". 如果我们在做一件事情之 ...
- 数据维度爆炸怎么办？详解5大常用的特征选择方法
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货 作者:Edwin Jarvis,cnblog博客整理 在许多机器学习相关 ...
- 数据维度爆炸怎么办？详解 5 大常用的特征选择方法
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 在许多机器学习相关的书里,很难找到关于特征选择的内容,因为特征选择 ...
- 结合Scikit-learn介绍几种常用的特征选择方法
特征选择(排序)对于数据科学家.机器学习从业者来说非常重要.好的特征选择能够提升模型的性能,更能帮助我们理解数据的特点.底层结构,这对进一步改善模型.算法都有着重要作用. 特征选择主要有两个功能: 减 ...
- 机器学习知识点(三十七)特征选择方法总结
在模型训练中,特征选择是非常重要.样本有限的情况,特征过多计算开销过大:通过特征选择去掉冗余和不相关特征,可提高模型性能降低计算开销.两个字:降维.当然降维后,模型性能应该是提升的.特征选择的最终目的 ...
- python 卡方检验 特征选择_结合Scikit-learn介绍几种常用的特征选择方法
特征选择(排序)对于数据科学家.机器学习从业者来说非常重要.好的特征选择能够提升模型的性能,更能帮助我们理解数据的特点.底层结构,这对进一步改善模型.算法都有着重要作用. 特征选择主要有两个功能: 减 ...
最新文章
- 2012-04-12
- Poj 1011 UVA - 307 Sticks
- 学java前要学css_教你一招：学习Java必须学会的CSS用法
- c# 情感倾向_C否则-能力倾向问题与解答
- java填吧_请高手为我填上JAVA代码吧
- UIView动画小问题。
- 天池大数据竞赛 Spaceack带你利用Pandas，趋势图与桑基图分析美国选民候选人喜好度
- 【c语言】算数转换解析+试题
- 在线html调试,debugger调试
- v2ex站长专访 - 100offer专访Livid：不仅仅是V站站长
- 剑指spring源码(三)
- artemis服务_集成Artemis
- unity中计算不规则模型的体积与表面积—三角面片与四面体
- Xilinx FPGA----ChipScope（硬件仿真 Core inserter方法）
- hadoop官网最新稳定版安装包下载（高效，无毒，简便）
- openfalcon 组件监控_监控软件之open-falcon
- 校园网络视频直播的重要性，实现高效智慧教育
- ubuntu下面安装极点五笔输入法
- 中山大学计算机专业二级学科,1.中山大学具有硕士学位授权一级学科、二级学科一览表-附件1.doc...
- python异步调用shell_异步 - 如何从Python异步运行外部命令？