机器学习入门--唤起你的数学记忆

一、概率论与统计学

什么是中心极限定理？
中心极限定理，是指概率论中讨论随机变量序列部分和分布渐近于正态分布的一类定理；（这组定理是数理统计学和误差分析的理论基础，指出了大量随机变量近似服从正态分布的条件；）（例如n重伯努利试验中，事件A出现的次数渐近于正态分布的问题；）
中心极限定理可用两句话描述：

样本平均值约等于总体平均值；
不管总体是什么分布，任意一个总体的样本平均值都会围绕在总体的整体平均值周围，并且呈正态分布；
拉普拉斯中心极限定理，是关于二项分布渐近趋于正态分布的极限定理；（也称二项分布的中心极限定理）
通过中心极限定理的正态分布，就能计算出某个样本属于总体的概率是多少，如果概率非常低，我们就能自信满满地说该样本不属于该群体；这也是统计概率中假设检验的原理；

什么是大数定理？
在随机事件的大量重复出现中，往往呈现几乎必然的规律，这个规律就是大数定律；
（在试验不变的条件下，重复试验多次，随机事件的频率近似于它的概率。偶然中包含着某种必然；）大数定律分为弱大数定律和强大数定律；第一个大数定理是伯努利大数定律；（属于弱大数定律的范畴）（其他包括切比雪夫大数定律，辛钦大数定律，泊松大数定律，马尔科夫大数定律等等；）

https://blog.csdn.net/xiuxin121/article/details/78756143 （中心极限定理与大数定理理解）
https://blog.csdn.net/sinat_25873421/article/details/80890430 （中心极限定理与大数定律的区别）

什么是辛钦大数定律？（so easy）
简单随机样本的原点矩依概率收敛到相应的总体原点矩；这一定律使算术平均值的法则有了理论依据；

什么是伯努利大数定律？
伯努利大数定律是辛钦大数定律的特殊情况，当Xi为服从0-1分布的随机变量时，辛钦大数定律就是伯努利大数定律；

什么是T检验？
T检验，亦称student t检验（Student’s t test），主要用于样本含量较小（例如n < 30），总体标准差σ未知的正态分布；
T检验是用t分布理论来推论差异发生的概率，从而比较两个平均数的差异是否显著；
T检验与f检验、卡方检验等并列；
https://www.jianshu.com/p/46d9b111dffc

什么是F检验？
F检验（F-test），别名叫做联合假设检验（joint hypotheses test），也称方差比率检验、方差齐性检验；通常是用来分析用了超过一个参数的统计模型；（在两样本t检验中要用到F检验）它是一种在零假设（null hypothesis, H0）之下，统计值服从F-分布的检验；
https://www.cnblogs.com/nxld/p/6185433.html （T检验与F检验的区别）

什么是Z检验？（也叫U检验）
Z检验（Z Test）是一般用于大样本（即样本容量大于30）平均值差异性检验的方法；
它是用标准正态分布的理论来推断差异发生的概率，从而比较两个平均数的差异是否显著。在国内也被称作u检验；当已知标准差时，验证一组数的均值是否与某一期望值相等时，用Z检验；

什么是卡方检验？
卡方检验就是统计样本的观测值与理论推断值之间的偏离程度；卡方值越大，偏差越大；反之偏差越小，若完全相等，卡方值就为0，表明理论值完全符合；卡方检验包括两个率或两个构成比比较的卡方检验，多个率或多个构成比比较的卡方检验以及分类资料的相关分析等；
https://www.jianshu.com/p/807b2c2bfd9b （结合日常生活的例子，了解什么是卡方检验）

什么是单侧检验、双侧检验？
双侧检验：如果检验的目的是检验抽样的样本统计量与假设参数的差数是否过大(无论是正方向还是负方向)，就把风险平分在右侧和左侧；
（比如显著性水平为0.05，即概率曲线左右两侧各占，即0.025；）
单侧检验：这种检验只注意估计值是否偏高或偏低。如只注意偏低，则临界值在左侧，称左侧检验；如只注意偏高，则临界值在右侧，称右侧检验；

什么是假设检验（即显著性检验）？（重要）
假设检验是推论统计中用于检验统计假设的一种方法，而“统计假设”是可通过观察一组随机变量的模型进行检验的科学假说；
（而其中欲检验其正确性的为零假设；零假设通常由研究者决定，反映研究者对未知参数的看法；）
（相对于零假设的其他有关参数之论述是备择假设；即它和零假设是对立的；）
假设检验的种类包括：t检验，Z检验，卡方检验，F检验、U检验等；
设检验的基本思想是小概率反证法思想。小概率思想是指小概率事件（P<0.01或P<0.05）在一次试验中基本上不会发生；
反证法思想是先提出假设(检验假设H0)，再用适当的统计方法确定假设成立的可能性，如可能性小，则认为假设不成立，若可能性大，则不能认为假设不成立；
如果假设中含有目标未知参量，则是复合假设检验；
（注意：无论接受或拒绝检验假设，都有判断错误的可能性；）
检验水准也称显著性水准，它指无效假设H0为真，但被错误地拒绝的一个小概率值，常用的检验水准α有0.01、0.05、0.10；
https://blog.csdn.net/andy_shenzl/article/details/81453509 （统计学基础–假设检验）

什么是零假设、备择假设？
零假设的内容一般是希望证明其错误的假设；与零假设相对的是备择假设；

什么是无偏检验？
无偏检验是第一类错误不大于检验功效的统计检验，无偏检验是指在备择假设的各种参数值之间“无偏”，任何检验问题都存在水平为α的无偏检验；

什么是参数估计？（重要）
参数估计是从总体中抽取的随机样本来估计总体分布中未知参数的过程；
从估计形式，可分为点估计与区间估计；从构造估计量的方法，有矩估计、最小二乘估计、似然估计、贝叶斯估计等；
参数估计要解决两个问题：（1）求出未知参数的估计量；（2）在一定信度（可靠程度）下指出所求的估计量的精度

什么是点估计和区间估计？
点估计(point estimation)是依据样本估计总体分布中所含的未知参数或未知参数的函数；（如数学期望、方差和相关系数等）
点估计包括矩估计法、最大似然估计法、最小二乘法、贝叶斯估计法等；
区间估计(interval estimation)是依据抽取的样本，根据一定的正确度与精确度的要求，构造出适当的区间，作为总体分布的未知参数或参数的函数的真值所在范围的估计；
（区间估计是在点估计的基础上，给出总体参数估计的一个区间范围，该区间通常由样本统计量加减估计误差得到；）
（目的是求置信区间，方法有：利用已知的抽样分布、利用区间估计与假设检验的联系、利用大样本理论；）
（评价置信区间有两个因素：精度（即置信区间的长度）、置信度；注意：精度和置信度此消彼长，一个越大，另一个就越小；）
简单说，估计总体的参数的值就是点估计，估计总体的参数的区间就是区间估计

参数估计和假设检验的关系？
参数估计和假设检验都是由样本的信息来推测母体信息的一种方法！！！
参数估计是假设检验的第一步，没有参数估计，也就无法完成假设检验！！！

什么是最大似然估计？
极大似然法(the method of maximum likelihood)就是在参数θ的可能取值范围内，选取使L(θ)达到最大的参数值θ，作为参数θ的估计值；
求参数θ的极大似然估计问题就是求似然函数L(θ)最大值问题；

什么是最小二乘估计法？就是最小二乘法；

什么是矩估计？
矩估计是利用样本矩来估计总体中相应的参数；
首先推导涉及感兴趣的参数的总体矩（即所考虑的随机变量的幂的期望值）的方程；
然后取出一个样本并从这个样本估计总体矩。接着使用样本矩取代（未知的）总体矩，解出感兴趣的参数。从而得到那些参数的估计；
（最简单的矩估计法，是用一阶样本原点矩来估计总体的期望，而用二阶样本中心矩来估计总体的方差；）
在相当多的情况下，矩估计与极大似然估计是一致的；

什么是中心矩、原点矩？
原点矩不跟均值比较，即不减去均值；（如一阶原点矩就是数学期望；当然也有k阶原点矩，简称k阶矩）
中心矩是指跟均值比较，即要减去均值；（如k阶中心矩）
（此外还有混合中心矩，即有两个随机变量如X、Y的情况，见概率论第四章；如协方差就是X、Y的二阶混合中心矩）

什么是一阶矩、二阶矩、高阶矩？
一阶矩就是期望值；一阶矩只有一阶原点矩；二阶中心矩就是方差；二阶原点矩就是对变量的平方求期望；
https://zhidao.baidu.com/question/814463589612982452.html

什么是贝叶斯估计法？
贝叶斯估计（Bayesian estimation）是利用贝叶斯定理结合新的证据及以前的先验概率，来得到新的概率；（个人认为，就是朴素贝叶斯训练好后，测试阶段的估计，属于机器学习范畴）

条件分布和条件概率啥关系？
二维随机变量(X，Y)，考虑在其中一个随机变量取得(可能的)固定值的条件下，另一随机变量的概率分布，得到的X或Y的概率分布叫做条件概率分布，简称条件分布；

什么是bootstrap方法？
Bootstrap是非参数统计中一种重要的估计统计量变异性，并可进行统计量区间估计的统计方法，也称为自助法；（Bootstrap是现代统计学较为流行的一种统计方法，在小样本时效果很好）

什么是切比雪夫不等式（即切比雪夫定理）？
任意一个数据集中，位于其平均数m个标准差范围内的比例（或部分）总是至少为1－1/m2，其中m为大于1的任意正数。对于m=2，m=3和m=5有如下结果：
所有数据中，至少有3/4（或75%）的数据位于平均数2个标准差范围内；
所有数据中，至少有8/9（或88.9%）的数据位于平均数3个标准差范围内；
所有数据中，至少有24/25（或96%)的数据位于平均数5个标准差范围内；
切比雪夫不等式可以使人们在随机变量X的分布未知的情况下，对事件概率作出估计！！！

什么是切比雪夫多项式？（不重要）
切比雪夫多项式分为第一类切比雪夫多项式Tn和第二类切比雪夫多项式Un；
切比雪夫多项式在逼近理论中有重要的应用。这是因为第一类切比雪夫多项式的根（被称为切比雪夫节点）可以用于多项式插值；
两类切比雪夫多项式都是通过递推关系得到的；

什么是边缘分布（函数）？
边缘分布（Marginal Distribution）指在概率论和统计学的多维随机变量中，只包含其中部分变量的概率分布；（例如P(X)就是相对P(X，Y)的边缘分布；）
边缘分布（函数）也叫做边缘概率密度；

什么是联合分布（函数）？
联合分布函数（joint distribution function）亦称多维分布函数或联合概率分布，是两个及以上随机变量组成的随机变量的概率分布；联合分布分为两种，一种是关于离散随机变量的，另一种是关于连续随机变量的；

什么是协方差矩阵？
协方差矩阵的每个元素是各个向量元素之间的协方差，是从标量随机变量到高维度随机向量的自然推广；协方差矩阵为对称非负定矩阵；
https://www.cnblogs.com/terencezhou/p/6235974.html （协方差与协方差矩阵）
https://blog.csdn.net/a10767891/article/details/80288463 （PCA 原理：为什么用协方差矩阵）
https://blog.csdn.net/oldmonkeyyu_s/article/details/45766543 （K-L变换和PCA的区别）

什么是协方差？
协方差（Covariance）在概率论和统计学中用于衡量两个变量的总体误差；
（而方差是协方差的一种特殊情况，即当两个变量是相同的情况）
如果两个变量的变化趋势一致，即如果其中一个大于自身的期望值，另一个也大于自身的期望值，那么两个变量之间的协方差就是正值；（反之就是负值）
公式表示：Cov(X，Y)=E[(X-E[X])(Y-E[Y])]=E[XY]-E[X]E[Y] （也可以说是协方差与期望值的关系）（如果X与Y是统计独立的，那么二者之间的协方差就是0，因为两个独立的随机变量满足E[XY]=E[X]E[Y]；）
（反过来并不成立，即如果X与Y的协方差为0，二者并不一定是统计独立的；但可以说这两个随机变量是不相关的；）
从定义可看出，协方差是对称的，即Cov(X，Y)=Cov(Y，X)
协方差与方差之间有如下关系：
D(X+Y)=D(X)+D(Y)+2Cov(X，Y)
D(X-Y)=D(X)+D(Y)-2Cov(X，Y)
协方差是有量纲的，即它是有绝对值的，而皮尔森相关系数就是基于协方差定义的、无量纲的指标！！！（即它的值是相对的，取值范围[-1,1]）
（即ρXY=0的充分必要条件是Cov(X，Y)=0，亦即不相关和协方差为零是等价的）

什么是皮尔逊相关系数？
皮尔逊相关系数是用于度量两个变量X和Y之间的相关（线性相关），定义为两个变量之间的协方差和标准差的商，其值介于-1与1之间；
双变量分布完全在直线上（计算总体皮尔逊系数的情况），则相关系数等于1或-1；系数的值为0意味着两个变量之间没有线性关系；
和协方差一样，皮尔逊系数也是对称的，corr（X,Y）=corr（Y,X）；

二、高等数学

可导、可微、可积和连续的关系？
结论（一元函数范畴内）
可导与连续的关系：可导必连续，连续不一定可导；
可微与连续的关系：可微与可导是一样的；
可积与连续的关系：可积不一定连续，连续必定可积；
可导与可积的关系：可导一般可积，可积推不出一定可导；
可微与可导的关系：可微与可导是一样的；
（简单记为：可微<=>可导=>连续=>可积）

对于多元函数，不存在可导的概念，只有偏导数存在，函数在某处可微等价于在该处沿所有方向的方向导数存在，仅仅保证偏导数存在不一定可微，还需要偏导数存在且连续，因此有：可微=>偏导数存在=>连续=>可积。

https://blog.csdn.net/pys123abc/article/details/73321058
https://zhidao.baidu.com/question/360772305745355212.html
https://zhidao.baidu.com/question/1691234785629994788.html

什么是微分中值定理？（罗尔定理、拉格朗日中值定理、柯西中值定理、达布中值定理、泰勒中值定理）
其中最重要的是拉格朗日定理，其他中值定理都是拉格朗日中值定理的特殊情况或推广；（微分中值定理反映了导数的局部性与函数的整体性之间的关系，应用十分广泛）
罗尔定理是说在一段连续可导的区间，若在区间端点处的函数值相等（即f(a)=f(b)），那么在(a,b)内至少有一点ξ(a<ξ<b)，使得 f’(ξ)=0.（最容易理解）拉格朗日中值定理是说在一段连续可导的区间，一定存在一个点ξ(a<ξ<b)，使等式 f(b)-f(a)=f′(ξ)(b-a) 成立（较容易理解）（含义：曲线上必然存在至少一点，过该点的切线的斜率和连接曲线（a，b）的割线的斜率相同）（罗尔定理是‘放平了’的拉格朗日定理）柯西中值定理是说在一段连续可导的区间，在(a,b) 内至少有一点ξ，使等式[f(b)-f(a)]/[F(b)-F(a)]=f’(ξ)/F’(ξ) （难度稍大）（含义：该定理可以视作在参数方程下拉格朗日中值定理的表达形式；即若取F(x)=x时，其结论形式和拉格朗日中值定理相同）达布中值定理是说，设y=f(x)在(A,B)区间中可导，且[a,b]包含于(A,B)，f’(a)<f’(b)，则对于任意给定的η:f’(a)<η<f’(b),都存在一点c∈(a,b)使得f’©=η（不太重要）

什么是洛必达法则？
洛必达法则是在一定条件下通过分子分母分别求导再求极限来确定未定式值的方法；
（可以计算0^0型、∞0型、1^∞型、∞∞型、0^∞型等不定式极限；）
洛必达法则是柯西中值定理的一个重要应用；
https://jingyan.baidu.com/article/1876c85252d424890a137672.html

什么是泰勒公式？（一元函数、二元函数）
泰勒公式即泰勒级数，也叫泰勒中值定理，用无限项连加式——级数来表示一个函数，这些相加的项由函数在某一点的导数求得；
泰勒公式也是柯西中值定理的一个重要应用；（带有拉格朗日余项的n阶泰勒公式）

什么是迈克劳林级数？
函数在自变量零点的导数求得的泰勒级数又叫做迈克劳林级数；

什么是拉格朗日乘数法？（多元函数条件极值）
拉格朗日乘数法是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法；
将一个有n个变量与k个约束条件的最优化问题转换为一个有n + k个变量的方程组的极值问题，其变量不受任何约束；（表达式为L=f(x,y,z)+λφ(x,y,z)）
与拉格朗日中值定理没有关系，只是作者是同一个人；
（拉格朗日中值定理在高数上册、拉格朗日乘数法在高数下册）

什么是最小二乘法？
最小二乘法（又称最小平方法）是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配；
（最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小；）
（最小二乘法可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达；）
https://blog.csdn.net/ccnt_2012/article/details/81127117 （如何理解最小二乘法？）

最小二乘法和MSE啥关系？
使用了MSE的方法（或机器学习算法）都算是最小二乘法；

微分与导数啥关系？
导数和微分的区别一个是比值、一个是增量；
1、导数是函数图像在某一点处的斜率，也就是纵坐标增量（Δy）和横坐标增量（Δx）在Δx–>0时的比值；
2、微分是指函数图像在某一点处的切线在横坐标取得增量Δx以后，纵坐标取得的增量，一般表示为dy；

https://blog.csdn.net/yjk13703623757/article/details/77460905 （微分和导数的关系是什么？）

什么是零点定理？
如果函数y= f(x)在区间[a,b]上的图像是连续不断的曲线，并且有f(a)·f(b)<0,则函数y= f(x)在区间(a,b)内有零点，即存在c∈(a,b),使得f©=0,这个c也就是方程f(x)= 0的根

什么是介值定理？
介值定理，又名中间值定理，是闭区间上连续函数的性质之一；
介值定理表明，如果定义域为[a，b]的连续函数f，也就是说，介值定理是在连续函数的一个区间内的函数值肯定介于最大值和最小值之间；

什么是欧拉方程？（不重要）
欧拉方程，即运动微分方程，属于无粘性流体动力学中最重要的基本方程，是指对无粘性流体微团应用牛顿第二定律得到的运动微分方程；欧拉方程是一种变系数线性微分方程，不容易求，需要转化为常系数的；（见高数上册）

什么是牛顿-莱布尼兹公式？
牛顿-莱布尼兹公式（Newton-Leibniz formula），也称为微积分基本定理；揭示了定积分与被积函数的原函数或者不定积分之间的联系；
（一个连续函数在区间[a，b]上的定积分等于它的任意一个原函数在区间[a，b]上的增量；）牛顿-莱布尼茨公式是联系微分学与积分学的桥梁，它是微积分中最基本的公式之一；（它证明了微分与积分是可逆运算，同时在理论上标志着微积分完整体系的形成，从此微积分成为一门真正的学科；）

什么是积分中值定理？（积分第一中值定理、积分第二中值定理）
积分中值定理，分为积分第一中值定理和积分第二中值定理，它们各包含两个公式；
积分中值定理在应用中所起到的重要作用是可以使积分号去掉，或者使复杂的被积函数化为相对简单的被积函数，从而使问题简化；
（它属于定积分范畴，用矩形面积代替不规则的曲边梯形面积；）

什么是定积分与不定积分？
定积分是函数f(x)在区间[a,b]上积分和的极限；若定积分存在，则它是一个具体的数值（曲边梯形的面积）；而不定积分是一个函数表达式；

什么是积分换元法？（定积分与不定积分）
换元积分法是求积分的一种方法，主要通过引进中间变量作变量替换使原式简易，从而来求较复杂的不定积分；（换元积分法有两种，第一类换元积分法和第二类换元积分法）

什么是分部积分法？（定积分与不定积分）
分部积分法是将不易直接求结果的积分形式，转化为等价的易求出结果的积分形式；
（分部积分的顺序整理为口诀：“反对幂指三”。分别代指五类基本函数：反三角函数、对数函数、幂函数、指数函数、三角函数的积分）
https://jingyan.baidu.com/article/6fb756ec5260d1241858fba0.html

什么是反常积分？
反常积分又叫广义积分，是对普通定积分的推广，指含有无穷上限/下限，或者被积函数含有瑕点的积分，前者称为无穷限广义积分，后者称为瑕积分（又称无界函数的反常积分）；

什么是积分表？
积分的计算要比导数的计算灵活、复杂，为了实用的方便，往往把常用的积分公式汇集成表，这种表叫作积分表；

什么是向量的数量积、向量积、混合积？
数量积也叫内积、点积，例如a·b=|a||b|cosθ或a·b=x1·x2+y1·y2；
向量积，数学中又称外积、叉积，与点积不同，它的运算结果是一个向量而不是一个标量；并且两个向量的叉积与这两个向量和垂直；
（a×b=c，其中|c|=|a||b|·sinθ，c的方向遵守右手定则）
混合积，又称三重积，是三个向量相乘的结果；有两种方法将三个向量相乘，得到三重积，分别称作标量三重积和向量三重积；
（ (a×b)·c 就是三个向量 a ，b ，c 的混合积）

什么是重积分？（二重积分、三重积分）
多重积分是定积分的一类，它将定积分扩展到多元函数（多变量的函数）。多重积分具有很多与单变量函数的积分一样的性质（线性，可加性，单调性等等）

什么是格林公式？（不重要）
格林公式描述了平面上沿闭曲线L对坐标的曲线积分与曲线L所围成闭区域D上的二重积分之间的密切关系，一般用于二元函数的全微分求积；

什么是高斯公式（即通量与散度）？（不重要）
高斯定理（Gauss’ law）也称为高斯通量理论（Gauss’ flux theorem），或高斯散度定理；

什么是斯托克斯公式（环流量与旋度）？（不重要）
当封闭周线内有涡束时，则沿封闭周线的速度环量等于该封闭周线内所有涡束的涡通量之和，这就是斯托克斯定理；

https://blog.csdn.net/yu132563/article/details/84589602 （格林公式、高斯公式及斯托克斯公式的理解及相互关系）

什么是（非）线性微分方程（组）、齐次线性微分方程、一阶齐次线性微分方程组、常微分方程（组）、偏微分方程（组）、全微分方程？
线性微分方程是指关于未知函数及其各阶导数都是一次方，否则称其为非线性微分方程；如果方程的右边等于0，那么方程便称为齐次线性微分方程；如果方程的右边是一个常数，那么方程便称为常系数线性微分方程；（反之，则是变系数线性微分方程）
未知函数是一元函数的微分方程称作常微分方程，未知函数是多元函数的微分方程称作偏微分方程；（即导数和偏导的关系。。）如果线性微分方程组中各未知函数的导数均为一阶的，则称为一阶线性微分方程组；（此外还有n阶线性微分方程组）全微分方程，又称恰当方程；恰当方程是一种微分方程，它可以直接解出而不需要用到这学科的任何特殊技巧；（超纲）

三、线性代数

什么是奇异值？
奇异值是基于特征值定义的；A的奇异值由AA或AA的特征值唯一地决定；
（设A为mn阶矩阵，q=min(m,n)，AA的q个非负特征值的算术平方根叫作A的奇异值）
（其中A表示矩阵A的共扼转置矩阵；共轭转置是把矩阵转置后，再把每一个数换成它的共轭复数；）
（自共轭矩阵又称Hermite阵，Hermite阵中每一个第i行第j列的元素都与第j行第i列的元素的共轭相等）
（不是每个矩阵都是自共轭矩阵，但每个矩阵都有它的共扼矩阵！！！）
（特征值必须是方正，奇异值可以是mn的非方正）

https://www.zhihu.com/question/22237507 （奇异值的物理意义是什么？）
奇异值往往对应着矩阵中隐含的重要信息，且重要性和奇异值大小正相关；

什么是矩阵的秩？矩阵的秩有哪些性质？
方阵的列秩和行秩总是相等的，可以简单称作矩阵A的秩，通常表示为r(A)，rank(A)；
（如果把矩阵看成一个个行向量或者列向量，秩就是这些行向量或者列向量的秩，也就是极大无关组中所含向量的个数）
可逆矩阵称为满秩矩阵, det(A)≠0；不满秩矩阵就是奇异矩阵，det(A)=0
矩阵A的转置AT的秩与A的秩是一样的；
初等变换不改变矩阵的秩；

矩阵的行列式如何求解？
det(A)或|A|可以直接套公式计算，即D=E(-1)^ka1k1a2k2…*ankn，但最好沿着任意一行或一列展开，通过代数余子式求解，求n阶的D，要先求n-1阶的D，直到2阶的直接可以求解；

矩阵的逆如何求解？
一、套公式，利用伴随矩阵除以行列式得到，即A’=A* / |A|
二、初等变换法，对(A E)作初等变换，将A化为单位阵E，单位矩阵E就化为A’

如何判断矩阵是否可逆？
一、证明|A|≠0
二、找到一个矩阵，使得AB=BA=E
三、证明A的行向量（或列向量）线性无关

什么是初等变换？有哪几种？
一、用一非零的数乘以某一方程
二、把一个方程的倍数加到另一个方程
三、互换两个方程的位置

什么是矩阵的迹？
一个n×n矩阵A的主对角线（从左上方至右下方的对角线）上各个元素的总和被称为矩阵A的迹（或迹数），一般记作tr(A)
迹也是所有特征值的和！！！

什么是基向量？
向量空间V的一组向量若满足：
1、线性无关
2、V中任一向量可由此向量线性表出，则称该组向量V中的一个基（亦称基底）
一个向量空间的基有很多，但每个基所含向量个数却是个定数

什么是主子式、顺序主子式？
在n阶行列式中，选取行号、列号相同（但不必连续，例如第1、3、7行或列），构成的行列式称为该行列式的i阶主子式；
i阶主子式是不唯一的，而i阶顺序主子式是唯一的；
顺序主子式可用于判定实二次型正定或矩阵正定；（矩阵或二次型正定的充要条件是A的顺序主子式全大于零）
顺序主子式还可以判定矩阵是否可唯一LU分解；（若A的各阶顺序主子式均不等于零，则A有唯一LU分解）

什么是特征值、特征向量、特征多项式、特征方程？
设A是n阶矩阵，如果数λ和n维非零列向量x使得关系式Ax=λx成立，这样的数λ就称为方阵A的特征值，非零向量x称为A对应于特征值λ的特征向量；
n*n的方阵A的特征多项式为|A-λE|；而|A-λE|=0就是特征方程；
（特征多项式|A-λE|是λ的n次多项式；）

什么是特征值的代数重数和几何重数？
代数重数是指特征方程的根的重数，也就是说，方程的根是几重根；
若矩阵有特征值是重根，则该特征值所对应的特征向量所构成空间的维数，称为几何重数；
（注意：几何重数不大于它的代数重数；）

什么是单纯矩阵？（Simple matrix）
若A的每个特征值的代数重数与几何重数相等，则称A为单纯矩阵；A就可以对角化！！！（此时n阶方阵A有n个线性无关的特征向量）

什么是相似矩阵？
相似矩阵是指存在相似关系的矩阵；设A，B为n阶矩阵，如果有n阶可逆矩阵P存在，使得P^(-1)AP=B；则称矩阵A与B相似，记为A~B；（P就称为相似变换矩阵）
相似矩阵具有以下性质：
一、反身性，即A~A
二、对称性，即若A_B，则BA
三、传递性，即若A~B B_C，则AC
若A~B，则两者的秩相等、行列式值相等、迹相等、特征值相等（特征向量一般不同）；
若A与对角矩阵相似，则称A为可对角化矩阵；
相似矩阵具有相同的可逆性，且当它们可逆时，它们的逆矩阵也相似；

什么是相似对角化？和对角化一个意思
https://blog.csdn.net/u012421852/article/details/80489727 （值得一读）

https://jingyan.baidu.com/article/9989c746d5af17f648ecfefd.html （很多有用的信息）

什么是正交矩阵？
如果AT A=E，那么n阶实矩阵A称为正交矩阵；（正交矩阵是实数特殊化的酉矩阵）
正交矩阵有如下性质：
一、A的各行是单位向量且两两正交
二、A的各列是单位向量且两两正交
三、|A|=1或-1
四、AT=A’

什么是实对称矩阵？什么是正交对角化？
实对称矩阵是对称矩阵（转置等于本身），且矩阵的元素都为实数；
实对称矩阵一定可以对角化，并且可以要求相似变换矩阵是正交矩阵，即实对称矩阵可以正交对角化；

什么是（非）齐次线性方程组？
齐次线性方程组是常数项全部为零的线性方程组；
如果m<n(行数小于列数，即未知数的数量大于所给方程组数），则齐次线性方程组有非零解，否则为全零解；
（齐次线性方程组Ax=0非零解的充要条件是r(A)<n，仅有零解的充要条件是r(A)=n；）
齐次线性方程组的解的k倍、两个解相加也是方程组的解；
齐次线性方程组的求解：
1）对系数矩阵A进行初等行变换，将其化为行阶梯形矩阵
2）若r(A)=r=n（未知量的个数），则原方程组仅有零解，即x=0，求解结束
3）若r(A)=r<n（未知量的个数），则原方程组有非零解，进行以下步骤：
继续将系数矩阵A化为行最简形矩阵，并写出同解方程组；
选取合适的自由未知量，并取相应的基本向量组，代入同解方程组，得到原方程组的基础解系，进而写出通解；

非齐次线性方程组是常数项不全为零的线性方程组，即Ax=b；
非齐次线性方程组Ax=b有解的充分必要条件是：系数矩阵的秩等于增广矩阵的秩，即rank(A)=rank(A, b)（否则为无解）；
非齐次线性方程组有唯一解的充要条件是rank(A)=n；有无穷多解的充要条件是rank(A)<n；

非齐次线性方程组的通解=齐次线性方程组的通解+非齐次线性方程组的一个特解！

什么是高斯消元法？
高斯消元法是求解线性方程组直接法中最常用和最有效的方法之一；
其基本思想就是逐次消去一个未知数，使方程变换为一个等价方程组，然后求解该等价方程组，通过回代得到的解，再求解原方程的解；
（高斯消元法可用于求解矩阵的逆、矩阵的秩；但通常用于求解方程组，如一阶微分方程组；）

什么是酉矩阵？（超纲）
n阶复方阵U的n个列向量是U空间的一个标准正交基，则U是酉矩阵(Unitary Matrix)。显然酉矩阵是正交矩阵往复数域上的推广；
（酉矩阵又称为幺正矩阵；幺正矩阵和幺模正交矩阵是两个不同的概念；）
（酉矩阵的重要性质：酉矩阵的共轭转置矩阵和其逆矩阵相等）

什么是正规矩阵？（超纲）

什么是增广矩阵？
增广矩阵（又称扩增矩阵）就是在系数矩阵的右边添上一列，这一列是线性方程组的等号右边的值；（即Ax=b，把b移到等号左边；）
（注意：增广矩阵是相对系数矩阵而言的，其中A矩阵就是系数矩阵；系数矩阵就是方程组的系数组成矩阵来计算方程的解）
增广矩阵通常用于判断矩阵的解的情况：
当r(A)<r(AB)时，方程组无解；
当r(A)=r(AB)=n时，方程组有唯一解；
当r(A)=r(AB)<n时，方程组无穷解；

什么是矩阵的分解？
矩阵分解是将矩阵拆解为数个矩阵的乘积，可分为三角分解、满秩分解、QR分解、Jordan分解和SVD（奇异值）分解等；
三角分解法是将原方阵分解成一个上三角和一个下三角矩阵的乘积，又称为LU分解法；（可以简化大矩阵行列式的计算过程、求逆矩阵、求解联立方程组）
QR分解法是将矩阵分解成一个正规正交矩阵与上三角矩阵，所以称为QR分解法，与此正规正交矩阵的通用符号Q有关；
奇异值分解(即SVD)是另一种正交矩阵分解法；（[U,S,V]=svd(A)，其中U和V分别代表两个正交矩阵，而S代表一对角矩阵）

https://blog.csdn.net/reborn_lee/article/details/80947090 （LU分解法）
https://blog.csdn.net/ycc18829026593/article/details/80567565 （矩阵的各种分解）

什么是（实）二次型、标准型、（半）正定二次型、（半）负定二次型、不定二次型？
n个变量的二次多项式称为二次型；
设Q为二次型，若对所有向量v，有Q(v)>0 (或者Q(v)<0)，则称为是正定的（或者负定的）；
如果Q(v)<0对于某个v而Q(v)>0对于另一个v，则Q被称为不定的；
只含有平方项的二次型叫做二次型的标准型；

什么是正定矩阵、负定矩阵、半正定矩阵、半负定矩阵？
设M是n阶方阵，如果对任何非零向量z，有zT Mz>0，其中zT是z的转置，就称M为正定矩阵；
对称正定矩阵同时满足是对称矩阵；
正定矩阵有以下性质：
1）行列式恒为正
2）若A是正定矩阵，则A的逆矩阵也是正定矩阵
3）两个正定矩阵的和是正定矩阵
4）正实数与正定矩阵的乘积是正定矩阵
5）一切主子式均为正
6）特征值均为正
7）存在实可逆矩阵C，使A=C′C
https://blog.csdn.net/asd136912/article/details/79146151

什么是若尔当标准型？什么是Jordan块？什么是Jordan分解？
Jordan标准型不是对角矩阵；
Jordan标准型的用处就在于矩阵不能对角化的时候利用Jordan标准型这种最简化的结果来做题；
（证明关于一般方阵（不能保证对角化）的某些命题，需要用到Jordan标准型）
（Jordan标准型是最接近对角矩阵的形式，即P-1 A P =J，其中J是Jordan标准型，J有点类似对角矩阵，但不是对角矩阵）
（A=P J P-1 就是Jordan分解）
（矩阵J中的部分，如J(λi)，称为Jardon 块；）
https://www.cnblogs.com/edward-bian/p/4973903.html
https://blog.csdn.net/xuehuafeiwu123/article/details/53321730

机器学习入门--唤起你的数学记忆相关推荐

机器学习入门数学书籍推荐(部分资源有下载链接）
许多同学在入门机器学习时总喜欢从公式推导开始看,但又经常觉得很多地方看不懂.这自然就是数学基础不够导致的.虽然我们非常推荐以直接调包的方式入门学习,但这种方式也仅适合入门.其实无论是在机器学习.人工智 ...
曲线聚类_机器学习入门必读：6种简单实用算法及学习曲线、思维导图
来源:大数据DT 本文约3500字,建议阅读7分钟本文为你介绍掌握机器领域知识的学习曲线.技术栈以及常用框架. [ 导读 ] 大部分的机器学习算法主要用来解决两类问题--分类问题和回归问题.在本文当 ...
机器学习入门必读：6种简单实用算法及学习曲线、思维导图
来源:大数据DT 本文约3500字,建议阅读7分钟本文为你介绍掌握机器领域知识的学习曲线.技术栈以及常用框架. [ 导读 ] 大部分的机器学习算法主要用来解决两类问题--分类问题和回归问题.在本文当 ...
机器学习入门一定要避开的3个陷阱
机器学习入门一定要避开的3个陷阱 https://mp.weixin.qq.com/s/Giusr_V9-_N3IDFHBRt8ew 最近秋招已经进入尾声,有不少朋友反馈,面试的过程中,面试官提到的许 ...
机器学习入门需要多久
原入门机器学习需要会哪些编程语言? 38 0 对"机器学习"跃跃欲试的你,可能也有这样的问题:入门机器学习,我需要会那种(些)酷炫的编程语言呢?别问了,这个问题的"正解& ...
我的机器学习入门之路（中）——深度学习(自然语言处理)
继上一篇<我的机器学习入门之路(上)--传统机器学习>,这一篇博客主要记录深度学习(主要是自然语言处理)这一块内容的学习过程.以下均将自然语言处理简称NLP. 这一块内容的学习路线分为三部 ...
《基于张量网络的机器学习入门》学习笔记6
<基于张量网络的机器学习入门>学习笔记6 密度算符(密度矩阵) 具体到坐标表象在纯态上在混合态上纯态下的密度算符混合态下的密度算符密度算符的性质量子力学性质的密度算符描述第一 ...
《基于张量网络的机器学习入门》学习笔记5
<基于张量网络的机器学习入门>学习笔记5 量子概率体系事件互斥事件概率与测量不相容属性对相容属性对量子概率与经典概率的区别量子测量量子概率体系我们将经典的实数概率扩展到复 ...
机器学习入门系列四（关键词：BP神经网络）
机器学习入门系列四(关键词:BP神经网络) 标签: 机器学习神经网络 2016-01-12 15:28 80人阅读评论(0) 收藏举报本文章已收录于: 分类: 机器学习(3) 作者同类文章X 版 ...

机器学习入门--唤起你的数学记忆

机器学习入门--唤起你的数学记忆相关推荐

最新文章

热门文章