深度学习-23:矩阵理论(L0/L1/L2范数)
深度学习-23:矩阵理论(L0/L1/L2范数)
深度学习原理与实践(开源图书)-总目录, 建议收藏,告别碎片阅读!
线性代数是数学的一个分支,广泛应用于科学和工程领域。线性代数和矩阵理论是机器学习和人工智能的重要数学基础。有短板的请补课,推荐《The Matrix Cookbook》。线性代数主要涉及矩阵理论,本节围绕矩阵理论展开。
1 标量、向量和张量
标量: 一个标量就是一个单独的数字
向量: 一个向量就是一列数字。例如 x= [x1,x2,…xn]
矩阵:一个矩阵就是一个二维数组 A = [[A11,A12], [A21,A22]]
张量: 一个数组中的元素分布于若干坐标的规则网格中,称为张量
2 矩阵和矩阵的性质
矩阵乘积具有分配律: A(B+C)=AB+AC
矩阵乘积具有结合律: A(BC)=(AB)C
单位矩阵和逆矩阵
对角矩阵
线性相关
3 范数
衡量一个向量的大小,在机器学习中称为范数。范数的定义为:
∣∣x∣∣p=(∑n=1N∣xi∣p)1/p||x||_p = (\sum_{n=1}^N|x_i|^p)^1/p∣∣x∣∣p=(n=1∑N∣xi∣p)1/p
L0范数: 向量中非0的元素的个数。如果我们用L0范数来规则化一个参数矩阵W的话,就是希望W的大部分元素都是0。换句话说,就是让参数W是稀疏的。稀疏矩阵、稀疏编码、稀疏网络可是机器学习中大火的概念哦。稀疏规则化一个最吸引人的特性是特征的自动选择,自动去掉没有信息的特性(把这些特征对应的权重置为0)。
L1范数: 向量中各个元素绝对值之和,论文中集万千宠爱的稀疏规则算子(Lasso regularization)。L1范数会使权值稀疏。L1范数和L0范数可以实现稀疏,L1范数因具有比L0范数更好的优化求解特性而被广泛应用。
L2 范数称为欧几里得范数。L2 范数的经典特性是权值衰减(Weight Decay)。在回归算法中,使用L2 范数的回归称为岭回归(Ridge Regression)。L2范数可以限制模型空间,从而在一定程度上避免了过拟合。从学习理论的角度来说,L2范数可以防止过拟合,提升模型的泛化能力。
4 特征分解
我们通过分解质因数可以发现部分整数的内在性质,同样我们通过矩阵分解可以发现组成矩阵的数字元素的性质。特征分解将矩阵分解成一组特征向量和特征值。
5 奇异值分解
奇异值分解顾名思义,将矩阵分解为奇异向量和奇异值。通过奇异值分解我们会得到与特征分解相同类型的信息。
系列文章
- 机器学习原理与实践(开源图书)-总目录
- 深度学习原理与实践(开源图书)-总目录
- Github: 机器学习&深度学习理论与实践(开源图书)
参考文献
- [1] Ian Goodfellow, Yoshua Bengio. Deep Learning. MIT Press. 2016.
- [2] 焦李成等. 深度学习、优化与识别. 清华大学出版社. 2017.
- [3] 佩德罗·多明戈斯. 终极算法-机器学习和人工智能如何重塑世界. 中信出版社. 2018.
- [4] 雷.库兹韦尔. 人工智能的未来-揭示人类思维的奥秘. 浙江人民出版社. 2016.
深度学习-23:矩阵理论(L0/L1/L2范数)相关推荐
- 机器学习基础-23:矩阵理论(L0/L1/L2范数等)
机器学习基础-23:矩阵理论(L0/L1/L2范数等) 机器学习原理与实践(开源图书)-总目录,建议收藏,告别碎片阅读! 线性代数是数学的一个分支,广泛应用于科学和工程领域.线性代数和矩阵理论是机器学 ...
- 浅谈L0,L1,L2范数及其应用
原文传送门:浅谈L0,L1,L2范数及其应用 浅谈L0,L1,L2范数及其应用 在线性代数,函数分析等数学分支中,范数(Norm)是一个函数,其赋予某个向量空间(或矩阵)中的每个向量以长度或大小.对于 ...
- 正则化与L0,L1,L2范数简介
参考:机器学习中的范数规则化之(一)L0.L1与L2范数 1. 常见的范数 1.1 L0 范数 向量中非零元素的个数,即稀疏度,适合稀疏编码,特征选择. 1.2 L1 范数 又叫曼哈顿距离或最小绝对误 ...
- L0,L1,L2范数
http://blog.csdn.net/zouxy09/article/details/24971995
- Lasso回归系列三:机器学习中的L0, L1, L2, L2,1范数
L0, L1, L2, L2,1范数 机器学习中的范数定义不同于数学中的定义. 对于向量xxx (x=[x1,x2,x3,...xm]x=[x_1,x_2,x_3,... x_m]x=[x1,x2 ...
- 机器学习中的规则化范数(L0, L1, L2, 核范数)
今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化.我们先简单的来理解下常用的L0.L1.L2和核范数规则化.最后聊下规则化项参数的选择问题.这里因为篇幅比较庞大,为了不吓到大家,我将这个五个 ...
- L0/L1/L2/无穷范数
L0范数:向量中非零元素的个数 L1范数:向量中各个元素绝对值的和 L2范数:向量中元素平方的和,再开方:即向量的模长 无穷范数:向量中各个元素绝对值的最大值 关于范数,有个好文章:http://bl ...
- 机器学习中的范数理解(L0,L1,L2)
监督机器学习就是规则化参数的同时最小化误差. 有监督学习的样本都是带有标签的样本,用 yyy 来表示样本的标签,我们通过算法来提取样本特征并对其进行分类或回归,得到结果 y1=WTx" ro ...
- L0/L1/L2/Lp/L∞范数的联系与区别
向量的范数可以简单形象的理解为向量的长度,或者向量到零点的距离,或者相应的两个点之间的距离. 向量的范数定义:向量的范数是一个函数||x||,满足非负性||x|| >= 0,齐次性||cx|| ...
- L0,L1,L2 无穷范数
L0范数:向量中非零元素的个数 L1范数:向量中各个元素绝对值的和 L2范数:向量中元素平方的和,再开方:即向量的模长 无穷范数:向量中各个元素绝对值的最大值
最新文章
- 【每日DP】day 10、P1005 矩阵取数游戏【区间DP+高精(python)】难度⭐⭐⭐★
- 【方法杂谈】你真的了解CVPR吗?
- Rabbitmq消息发送事务与确认机制
- 网易云信助力长沙银行打造远程视频银行 | 字母点评数字化先锋案例
- Unicode编码 转载 侵权删
- html怎么加漂浮物,全面开展水面漂浮物清理专项行动
- 使用Data URI Scheme优雅的实现前端导出csv
- 改MD5防止你的视频被百度云秒和谐
- java web play_玩转 Java Web 应用开发:Play 框架
- 数据结构——绪论、时间复杂度
- 高等数学(第七版)同济大学 习题7-2 个人解答
- 麦田里的守望者——读后理解
- Centos指令mysql安装报错为“ Failing package is: mysql-community-client-5.7.38-1.el7.x86_64”
- 设计模式学习笔记-2 创建者模式-工厂方法模式
- 计算机组成原理选择题
- php7.4安装配置,CentOS环境下安装配置PHP 7.4的方法
- 微服务b2b b2c o2o电子商务云平台
- 记前端状态管理库Akita中的一个坑
- Intel Realsense L515 ros节点时间戳不同步解决方法
- 数据不是正态分布能做结构方程模型吗?
热门文章
- 移动通信技术的未来发展趋势分析
- C++ 读取TXT文件
- 中国物联网卡的发展历史和变革
- 中国信息安全技术标准体系框架
- 计算机控制技术课程2018更新资料
- 2022年电子商务概论(农)之形考作业二
- dss中文含义_DSS(中文译名:决策支持系统),这是什么系统?有多少个种类?...
- 计算机如何删除用不到的打印机驱动程序,win7卸载不了打印机驱动怎么办
- 电信光猫 远程服务器,如何禁止电信远程控制服务器修改光猫配置信息
- 昂达 android 刷机包,系统 基于安卓4.3全新ROM_昂达平板电脑_平板电脑评测-中关村在线...