Lipschitz函数相关
文章目录
- Lipschitz continuous
- Lipschitz约束的一个应用
最近在看深度学习的文章，发现它们经常会提到Lipschitz条件，特此做个记录。
Lipschitz continuous
Link
- In particular, a real-valued function f:R→Rf : R \to Rf:R→R is called Lipschitz continuous if there exists a positive real constant KKK such that, for all real x1x_{1}x1 and x2x_{2}x2,∣f(x1)−f(x2)∣≤K∣x1−x2∣,{\displaystyle |f(x_{1})-f(x_{2})|\leq K|x_{1}-x_{2}|,}∣f(x1)−f(x2)∣≤K∣x1−x2∣,where KKK is called Lipschitz constant.
- 可以证明，导函数有界的函数都满足Lipschitz连续。
Lipschitz约束的一个应用
Link
Reference:
Spectral Norm Regularization for Improving the Generalizability of Deep Learning
- L2 正则化能使得模型更好地满足Lipschitz条件，从而降低模型对输入扰动的敏感性，增强模型的泛化性能。但这只是一个比较粗糙的条件，更精确的条件应该是谱范数（Spectral Norm）。
- Spectral Norm ∣∣W∣∣2||W||_2∣∣W∣∣2: WTWW^{T}WWTW的最大特征根的平方根。（WWW是神经网络的权重矩阵）
- Spectral Norm Regularization: 把谱范数的平方作为额外的正则项，取代简单的L2 正则项。
- 注：柯西不等式、幂迭代（power iteration）
Lipschitz函数相关相关推荐
- 线性矩阵不等式LMI的运用与Lipschitz非线性系统观测器的设计
线性矩阵不等式(LMI)是有如下形式的一种约束描述:(1) 其中:是m个实数变量,称为线性矩阵不等式(1)的决策变量:是由决策变量构成的向量,称之为决策向量:是一组给定的实对称矩阵:(1)式中的不等号 ...
- UA MATH567 高维统计IV Lipschitz组合11 社区发现 Spectral Clustering容许的最大随机噪声
UA MATH567 高维统计IV Lipschitz组合11 社区发现 Spectral Clustering容许的最大随机噪声 社区发现的Spectral Clustering算法复习 用矩阵Be ...
- UA MATH567 高维统计IV Lipschitz组合10 随机矩阵的Bernstein不等式
UA MATH567 高维统计IV Lipschitz组合10 随机矩阵的Bernstein不等式 随机矩阵的Bernstein不等式 假设X1,⋯,XNX_1,\cdots,X_NX1,⋯,XN ...
- UA MATH567 高维统计IV Lipschitz组合9 矩阵函数、半正定序与迹不等式
UA MATH567 高维统计IV Lipschitz组合9 矩阵函数.半正定序与迹不等式 矩阵函数 半正定序(positive semi-definite order, PSD order) 迹不等 ...
- UA MATH567 高维统计IV Lipschitz组合8 随机投影与John-Lindenstrauss引理
UA MATH567 高维统计IV Lipschitz组合8 随机投影与John-Lindenstrauss引理 John-Lindenstrauss引理 Random Projection John ...
- UA MATH567 高维统计IV Lipschitz组合4 对称群上的均匀分布
UA MATH567 高维统计IV Lipschitz组合4 对称群上的均匀分布 用SnS_nSn表示一个对称群,为简化起见,我们假设SnS_nSn包含{1,2,⋯,n}\{1,2,\cdots, ...
- UA MATH567 高维统计IV Lipschitz组合3 高斯分布的Lipschitz函数
UA MATH567 高维统计IV Lipschitz组合3 高斯分布的Lipschitz函数 首先我们在欧氏空间(Rn,B(Rn))(\mathbb{R}^n,\mathcal{B}(\mathbb ...
- UA MATH567 高维统计IV Lipschitz组合2 Spherical Distribution的Lipschitz函数 Isoperimetric不等式
UA MATH567 高维统计IV Lipschitz组合2 Spherical Distribution的Lipschitz函数 这一讲我们先介绍最简单的高维分布,也就是球面分布的Lipschitz ...
- UA MATH567 高维统计IV Lipschitz组合1 Lipschitz函数
UA MATH567 高维统计IV Lipschitz组合1 Lipschitz函数 高维统计的第二部分与第三部分分别讨论了基于亚高斯性导出的随机向量与随机矩阵的concentration inequ ...
最新文章
- IT资产管理的演变原文-Generations of IT Asset Management
- LeetCode Gray Code(回溯法)
- 文本和代码文件助手软件
- vs配置不依赖其他包路径
- 入侵和反击 动态规划
- linux 下查看应用版本信息,Linux下查看版本信息
- 生产者-消费者模型的两种实现方式
- python理论知识选择题_Python基础自测题答案和基础知识梳理
- java学习（8）:巩固练习
- Linux系统编程12：进程入门之进程的优先级及PR和NI如何修改进程优先级
- CDH版Phoenix的安装（图文详解）
- Hadoop日志分析工具——White Elephant
- 定义域是取交集吗_高中数学；函数定义域秒解技巧（学好函数突破数学）
- mysql中的found_MySQL 中的 FOUND_ROWS() 与 ROW_COUNT() 函数
- 【ELAMN预测】基于遗传算法优化ELMAN神经网络实现电力符合数据回归预测附matlab代码
- android 半透明色值_最全的Android 颜色透明度
- Agv、Rgv 车辆控制调度系统开发第七篇-选车算法
- mysql 重建索引,mysql优化之索引重建
- 怎样下载ImageNet数据集并使用？
- 科大讯飞指定录音文件转文字（异步）