（单纯性和L1 ball）投影梯度法

投影梯度方法

Efficient Projections onto the ℓ1-Ball for Learning in High Dimensions[2008]
高维数据的有效投影

文章给出了求解：
1.投影到单纯形
2.投影到L1-ball的算法。
下图只给出了复杂度为O(nlogn)的算法,关于算法复杂度为O(n)的算法，请参考文章后面的详细内容。

下面是matlab代码参考

代码1

function [ projy ] = proj_unitSimplex( y )
%See "Fast Projection onto the Simplex and the ?1 Ball", Laurent Condat, 2015
%投影 到 单位单纯形
projy =  max(y-max((cumsum(sort(y,1,'descend'),1)-1)./(1:size(y,1))'),0);
end

代码2

% 测试
clearvars;clc;
z=1;
%v=[4 4]';
v=[-0.5 1]';
w=proj2_L1ball0(v,z);
%真实的结果应该为：
% y=x; 与x+y=1，两条之间的交点，即点：(0.5,0.5)
function w=proj2_L1ball0(v,z)
% 函数的功能： 将高维空间点v投影到||w||_1 \leq z的ball中，即在ball中找到一个点与点v之间的欧式距离最小。
% input:
%       v:待投影的矢量(点）
%       z:L1 ball的约束
% output:
%       w:投影后的矢量（点）
% 说明：其中点或者矢量都以列矢量的形式出现
n=length(v);
if norm(v,1)<=zw=v;
elseu=abs(v);su=sort(u,1,'descend');j=1;while  trueif su(j)-(sum(su(1:j),1)-z)/j<0j=j-1;break;endif j==nbreak;endj=j+1;endtheta=1/j*(sum(su(1:j),1)-z);w=bsxfun(@times,sign(v),max(u-theta,0));
end
end

从投影结果可以看出，很容易得到稀疏形式的解。

上图给出了三个投影的实例，不在||w||1<1范围内的点的投影均落在边界上，并且从上面点的投影来看，我们很容易求解出稀疏的解。

下面是论文中介绍的将原目标函数向单纯性或者L1 ball 投影的原理。

原文章：
1.Efficient Projections onto the ℓ1-Ball for Learning in High Dimensions[2008]

原博文：
https://blog.csdn.net/raby_gyl/article/details/53190845

（单纯性和L1 ball）投影梯度法相关推荐

机器学习知识点(二十一)特征选择之岭回归和LASSO
特征选择,也就是特征缩减,是通过对损失函数(即优化目标)加入惩罚项,使得训练求解参数过程中会考虑到系数的大小,通过设置缩减系数(惩罚系数),会使得影响较小的特征的系数衰减到0,只保留重要的特征.嵌入式 ...
2742: [HEOI2012]Akai的数学作业
Description 这里是广袤无垠的宇宙这里是一泻千里的银河这里是独一无二的太阳系这里是蔚蓝色的地球这里,就是这里,是富饶的中国大陆! 这里是神奇的河北大地这里是美丽的唐山这里是神话般的 ...
原生js——实现ios辅助触控的悬浮球案例
用过iphone的都知道,ios系统有一个重要的功能--辅助触控,可以让我们在触摸屏幕有困难或需要自适应配件的情况下使用iphone. 辅助触控中,悬浮球充当着重要角色,它置顶悬浮在屏幕边缘,可任意移 ...
机器学习中的规则化范数(L0, L1, L2, 核范数)
今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化.我们先简单的来理解下常用的L0.L1.L2和核范数规则化.最后聊下规则化项参数的选择问题.这里因为篇幅比较庞大,为了不吓到大家,我将这个五个 ...
重磅独家 | 腾讯AI Lab AAAI18现场陈述论文：用随机象限性消极下降算法训练L1范数约束模型
前言:腾讯 AI Lab共有12篇论文入选在美国新奥尔良举行的国际人工智能领域顶级学术会议 AAAI 2018.腾讯技术工程官方号独家编译了论文<用随机象限性消极下降算法训练L1范数约束模型&g ...
【机器学习】L1正则化与L2正则化详解及解决过拟合的方法
在详细介绍L1与L2之前,先讲讲正则化的应用场景. 正则化方法:防止过拟合,提高泛化能力所谓过拟合(over-fitting)其实就是所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越, ...
codeforces1457 C. Bouncing Ball
写这个题写了1h,赛后无意看见jly神的代码只能膜拜%%% C. Bouncing Ball 预处理从1→k1\to k1→k开始跳需要添加多少个平台,预处从k+1→nk+1\to nk+1→n这些不 ...
机器学习中的范数规则化之L0、L1、L2范数
我的博客中参考了大量的文章或者别的作者的博客,有时候疏忽了并未一一标注,本着分享交流知识的目的,如果侵犯您的权利,这并非我的本意,如果您提出来,我会及时改正. 本篇博客主要是为了解决机器学习中的过拟合 ...
简单理解L0、L1与L2范数
机器学习中的范数规则化之(一)L0.L1与L2范数监督机器学习问题无非就是"minimizeyour error while regularizing your parameters&qu ...

（单纯性和L1 ball）投影梯度法

投影梯度方法

下面是matlab代码参考

代码1

代码2

（单纯性和L1 ball）投影梯度法相关推荐

最新文章

热门文章