机器学习基石作业0

1 Probability and Statistics
2 Linear Algebra
3 Caculus

网上没找到作业0的答案，这是自己做的版本，有一些可能会有错误，欢迎讨论。

1 Probability and Statistics

用数学归纳法。N=1时满足，假定N=n满足，当N=n+1同样满足。得证。

10个挑4个正面 C104(1/2)4(1/2)6C_{10}^{4}(1/2)^{4}(1/2)^{6}C104(1/2)4(1/2)6
52张牌挑5个。先从13个里挑2个数字，这两种做X和Y时不相同，再计算2种数字的组合方式。 A132C43C42C525\dfrac{A_{13}^{2}C_{4}^{3}C_{4}^{2}}{C_{52}^{5}}C525A132C43C42

假设已知第一次正面，那么三次都是正面的概率是1/4。而提供的是有一个已知正面，那么三次里每一次都有可能。即3∗1/3∗1/4=1/43*1/3*1/4 = 1/43∗1/3∗1/4=1/4。

以上为错误答案。正确答案为P(三个硬币正面向上|有一个正面向上) = P(三个正面向上&&有一面正面向上)/P(有一个正面向上） = 1/7

p(x=−1∣∣x∣=1)=p(x=−1)p(∣x∣=1)=1/2∗1/41/2∗1/4+1/2∗1/8=2/3p(x=-1| |x|=1) = \dfrac{p(x=-1)}{p(|x|=1)} = \dfrac{1/2*1/4}{1/2*1/4+1/2*1/8} = 2/3p(x=−1∣∣x∣=1)=p(∣x∣=1)p(x=−1)=1/2∗1/4+1/2∗1/81/2∗1/4=2/3

0.3 0 0.7 0.4

2 Linear Algebra

秩为2

(1/8−5/83/4−1/41/4−1/23/8−3/81/4)\begin{pmatrix} 1/8 & -5/8 & 3/4 \\ -1/4 & 1/4 & -1/2 \\ 3/8 & -3/8 & 1/4 \end{pmatrix}⎝⎛1/8−1/43/8−5/81/4−3/83/4−1/21/4⎠⎞

λ1=4λ2=λ3=2\lambda_{1} = 4 \ \ \ \ \ \ \ \lambda_{2}=\lambda_{3}=2λ1=4 λ2=λ3=2
对应特征向量v1=[12−1]v2=v3=[11−2]v_{1}= [1\ 2 \ -1] \ \ v_{2}=v_{3} = [1 \ 1 \ -2]v1=[1 2 −1] v2=v3=[1 1 −2] v2v_{2}v2和v3v_{3}v3只要满足元素和为0即可，也不用相等

(a) svd分解中UUU和VVV都是正交矩阵，直接乘即可。
(b)两个矩阵相乘得单位阵

(a) xTZZTxx^{T}ZZ^{T}xxTZZTx = (ZTx)∗ZTx(Z^{T}x)*{Z^{T}x}(ZTx)∗ZTx 结果的每个元素都非负，得证
(b)对称矩阵可以用标准正交阵进行分解，在特征值都为正时结果的每个元素为正。

xTx∣x∣\dfrac{x^{T}x}{|x|}∣x∣xTx x∣x∣\dfrac{x}{|x|}∣x∣x
−xTx∣x∣\dfrac{-x^{T}x}{|x|}∣x∣−xTx −x∣x∣\dfrac{-x}{|x|}∣x∣−x
0 当u与x垂直时

3 Caculus

普通求导

链式法则普通求导

普通求梯度和黑塞矩阵

二元泰勒展开 https://zhuanlan.zhihu.com/p/33316479
可以用上(3)中的梯度和黑塞矩阵的结果

求导为0的地方是最小值。因为只有一个矩阵为0的位置，而正无穷与负无穷两头对应的结果都是无穷大且值一直大于0。

应该是按矩阵乘法里的每个分量进行求导然后写会矩阵形式。略难写。