机器学习中的数学基础（1）——向量和范数
https://www.toutiao.com/i6668553958534939144/
从今天开始，我将开设一个机器学习数学基础的系列。主要介绍机器学习中经常用到的那些数学知识，方便大家入门。一说起数学，有人会觉得很难。其实在这个系列中，我将会以最直白的语言来向你解释这些数学名词，大家不用担心，即使你是零基础，一样可以看得懂。
- 向量
我们从向量开始说起，什么是向量？它其实就是用括号括起来的一堆数，只不过这些数都是竖着写的。比如：
它们就分别是1维、2维和3维的向量。我们一般用小写粗体来表示向量，如x。如果我们写
它代表什么含义呢？“∈”这个符号读作属于，R表示实数集，而n表示维度。也就是说向量有几个元素，就是几维的向量。整个式子表示：向量x有n个维度，每个元素的取值都在实数集中。
- 范数
范数，又叫做L-p范数。它是这么定义的：
看上去很复杂，其实也容易理解，我们一点点来看。上面的式子是说，对于给定的一个n维向量w，它的范数就是向量w中的各个元素的绝对值的p次方之和，再开p次的根号（1/p就相当于开p次根号）。根据p的取值不同，范数的结果也就不同。我们常用的p值为1,2，∞等等。
1. L1范数
我们先来看p值为1时的范数，我们称之为L1范数。把p=1代入上面的式子，得到：
可能上面的式子还不够直观，我们再举个例子来看。假设我们有二维向量w=（x，y），那么w的L1范数就是|x|+|y|。当范数值固定时，我们还可以画出由所有的点（x，y）构成的图像。这里不妨假设|x|+|y|=1（当然你可以假设为任意值k，这里假设为1只是为了画图方便），我们大概用手画一下它的图像：
图1
那么图像为什么是这样子的呢？我们可以研究下公式|x|+|y|=1，其中x和y的正负性是未知的，我们就可以分情况来讨论：
① x>0，y>0。公式化简为x+y=1，它原本的图像是过图1中A、B两点的直线，但现在约束条件是x、y均大于0.所以它最后的图像就是AB线段。
② x>0，y<0。公式化简为x-y=1，它原本的图像是过图1中A、D两点的直线。但现在有了约束条件，所以它最后的图像就是AD线段。
③ x<0，y>0。公式化简为-x+y=1，它原本的图像是过图1中B、C两点的直线。但在约束条件下，它最后的图像为BC线段。
④ x<0，y<0。公式化简为-x-y=1，它原本的图像是过图1中C、D两点的直线。但在约束条件下，它最后的图像变成CD线段。
综合以上的4种情况，|x|+|y|=1最后的图像就是由AB、AD、BC、CD一共4条线段构成。
另外，我们也把L1范数称为曼哈顿距离。为什么呢，我们画个图来看下：
曼哈顿街道（图2）
美国曼哈顿的街道一般都是横平竖直的，从上图中可以看出，我们想从A点到B点，无论我们如何选择路线行走，最后走过的距离都是x+y。
2. L2范数
当p值为2时，代入范数定义公式，可得到L2范数：
注意，L2范数右下角的小标2是可以省略的，也只有L2范数才能省略。我们还是用向量w=（x，y）来举例说明，则上式为：
这里我们不妨再假设w的范数值为1，则有x²+y²=1.这就是单位圆的方程啊，我们把它画出来：
图3
此外，L2范数也被叫做欧式距离。
3. L-∞范数
当p的值取无穷大时，此时的范数又是多少呢？我们一步一步来推导，先把p=∞代入，得到：
展开，可得
我们先来关注括号内的部分，对于W1到Wn，我们总能找到一个Wj，使得Wj在其中是最大值。由于指数增长是非常快的，那么在求它们的∞次方的时候，括号内的值可以被看做是求Wj的∞次方。然后再对它开∞次的根号，最后得到的就是|Wj|。因此，我们就得到：
其中，Wj是向量w元素中的最大值。我们还是以向量w=（x，y）举例，来画出L-∞范数下的图像：
可以看到，最后的图像是一个正方形。那为什么是这样呢？我们还是分情况来讨论：
① x取到最大值k，且x>0。也就是说x=k，那么图像就是AB线段。
② x取到最大值k，且x<0。结果是x=-k，那么图像就是CD线段。
③ y取到最大值k，且y>0。则y=k，图像是BC线段。
④ y取到最大值k，且y<0。则y=-k，图像为DA线段。
综合以上4种情况，最后的图像就是一个ABCD所构成的正方形了。
以上的内容，你都明白了吗？有问题可以私信我。
机器学习中的数学基础（1）——向量和范数相关推荐
- 【机器学习中的数学基础】矩阵特征值、特征向量和特征值分解的几何意义
[机器学习中的数学基础]矩阵特征值.特征向量和特征值分解的几何意义 在<机器学习>西瓜书中的第十章提到了"多维缩放"(简称MDS)方法,该方法是一种经典的的降维方法.此 ...
- 机器学习中的数学基础（2）——理解基、线性组合与向量空间
https://www.toutiao.com/a6668922466275951118/ 这是<机器学习中的数学基础>系列的第2篇. 铺垫 在介绍各种"高大上"的名词 ...
- 机器学习中的数学基础（一）：高等数学
机器学习中的数学基础(一):高等数学 1 高数 1.1 如何理解方向导数与梯度? 1.2 泰勒公式 1.3 拉格朗日乘子法 1.3.1 理论支持 1.3.2 实例 在看西瓜书的时候有些地方的数学推导( ...
- 机器学习中的数学基础怎么学？
又到了周末了,但小编的周六并不算周末.回到本次的话题上,这次小编给大家分享机器学习中的数学基础该怎么学. 首先给出小编的态度:机器学习中涉及的数学课程比较多,要想一下子去穷尽所有课程显然也不现实,大可 ...
- 免费教材丨第51期：数学基础课程----概率论教程、机器学习中的数学基础
小编说 过去几个月里,有不少人联系我,向我表达他们对人工智能.数据科学.对利用机器学习技术探索统计规律性,开发数据驱动的产品的热情.但是,我发现他们中有些人实际上缺少为了获取有用结果的必要的数学直觉和 ...
- 秦曾昌人工智能课程---1、机器学习中的数学基础
秦曾昌人工智能课程---1.机器学习中的数学基础 一.总结 一句话总结: 函数+线代:了解数学常用函数,了解矩阵,了解线性代数 由浅入深:人工智能需要的高数基础并不多,由浅入深,很简单的 1.机器学习 ...
- 秦曾昌人工智能课程---2、机器学习中的数学基础2
秦曾昌人工智能课程---2.机器学习中的数学基础2 一.总结 一句话总结: 概率论在机器学习中比较重要 1.机器学习中最重要的数学基础是什么? 概率和统计:机器学习中很多情况需要处理不确定性, 2.我 ...
- 机器学习中的数学基础--随机变量与概率分布，伯努利分布和泊松分布，贝叶斯定理
机器学习中的数学基础--第四天 随机变量与概率分布 伯努利分布和泊松分布 贝叶斯定理 随机变量与概率分布 均匀分布:每个事件的概率是一样的,例如骰子的六面,每一面的概率都是1/6 随机变量: 1.离散 ...
- 机器学习中的数学基础（4.1）：支持向量机Support Vector Machine（SVM）
SVM可以说是一个很经典的二分类问题,属于有监督学习算法的一种.看过那么多的博客知乎解释SVM我一定要自己总结一篇,加深一下自己的理解. 带着问题去读文章会发现,柳暗花明又一村,瞬间李敏浩出现在眼前的 ...
最新文章
- 虚拟函数－2、实现机制
- 【iOS数据持久化】偏好设置（UserDefaults）
- Android模拟器入门
- faster rcnn源码解读（五）之layer（网络里的input-data）
- 【Scratch】青少年蓝桥杯_每日一题_3.17_蹦床
- Eclipse导入工程后显示小红叉叉怎么解决？
- 【环境搭建003】UBUNTU + ECLIPS + ANDROID 嵌入式系统编译环境搭建遇到的稀奇古怪的问题集合
- 思科交换机配置试题_【干货】思科交换机路由器怎么配置密码？
- 如何用有道词典查找论文
- 网络工程师考试第一节计算机硬件基础
- IDEA中用maven打出的jar包只有一个META-INF文件夹，没有java的源码？？？
- 如何将eclipse的英文设置成中文？
- 数藏2.0故事中，元境开启“元宇宙丝绸之路”
- 企业正确导入BPM系统要注意什么
- 美女照相怎么摆pose
- ProSpec Persephin小鼠重组体解决方案
- 3种iPhone手机数据备份，轻松备份和恢复数据
- python3代码编程规范（命名、空格、注释、代码布局、编程建议等）
- java小游戏大鱼吃小鱼入门(15min写一个小游戏)
- 橙瓜大数据发掘好书，25个网站小说排行榜，百万人打分