周志华《机器学习》读书笔记与习题答案（持续更新）

9 章

9.1：p≥1p\geq 1p≥1 时，闵可夫斯基距离满足距离度量的证明；

已知闵可夫斯基距离的定义： dist(xi,xj)=(∑u=1n∣xiu−xju∣p)1/p\text{dist}(\mathbf x_i,\mathbf x_j)=\left(\sum_{u=1}^n|x_{iu}-x_{ju}|^p\right)^{1/p}dist(xi,xj)=(∑u=1n∣xiu−xju∣p)1/p，易证非负，对称，主要证明其三角不等式特性：

证明如下：

根据闵可夫斯基不等式（(∑u=1n∣xiu+xju∣p)1/p≤(∑u=1n∣xiu∣p)1/p+(∑u=1n∣xju∣p)1/p\left(\sum_{u=1}^n|x_{iu}+x_{ju}|^p\right)^{1/p}\leq \left(\sum_{u=1}^n|x_{iu}|^p\right)^{1/p}+\left(\sum_{u=1}^n|x_{ju}|^p\right)^{1/p}(∑u=1n∣xiu+xju∣p)1/p≤(∑u=1n∣xiu∣p)1/p+(∑u=1n∣xju∣p)1/p），则
dist(xi,xj)=(∑u=1n∣xiu−xju∣p)1/p=(∑u=1n∣xiu−xku+xku−xju∣p)1/p≤(∑u=1n∣xiu−xku∣p)1/p+(∑u=1n∣xku−xju∣p)1/p=dist(xi,xk)+dist(xk,xj)\begin{array}{ll} \text{dist}(\mathbf x_i,\mathbf x_j)&=\left(\sum_{u=1}^n|x_{iu}-x_{ju}|^p\right)^{1/p}\\ &=\left(\sum_{u=1}^n|x_{iu}-x_{ku}+x_{ku}-x_{ju}|^p\right)^{1/p}\\ &\leq\left(\sum_{u=1}^n|x_{iu}-x_{ku}|^p\right)^{1/p}+\left(\sum_{u=1}^n|x_{ku}-x_{ju}|^p\right)^{1/p}\\ &=\text{dist}(\mathbf x_i,\mathbf x_k)+\text{dist}(\mathbf x_k,\mathbf x_j) \end{array} dist(xi,xj)=(∑u=1n∣xiu−xju∣p)1/p=(∑u=1n∣xiu−xku+xku−xju∣p)1/p≤(∑u=1n∣xiu−xku∣p)1/p+(∑u=1n∣xku−xju∣p)1/p=dist(xi,xk)+dist(xk,xj)

注闵可夫斯基不等式 p=2p=2p=2 时的证明：

(∑u=1n∣xiu+xju∣2)1/2≤(∑u=1n∣xiu∣2)1/2+(∑u=1n∣xju∣2)1/2\left(\sum_{u=1}^n|x_{iu}+x_{ju}|^2\right)^{1/2}\leq \left(\sum_{u=1}^n|x_{iu}|^2\right)^{1/2}+\left(\sum_{u=1}^n|x_{ju}|^2\right)^{1/2} (u=1∑n∣xiu+xju∣2)1/2≤(u=1∑n∣xiu∣2)1/2+(u=1∑n∣xju∣2)1/2
两边同时平方得：

(∑u=1n∣xiu∣2)+(∑u=1n∣xju∣2)+2∑u∣xiu∣∣xju∣≤(∑u=1n∣xiu∣2)+(∑u=1n∣xju∣2)+2(∑u=1n∣xiu∣2)(∑u=1n∣xju∣2)\left(\sum_{u=1}^n|x_{iu}|^2\right)+\left(\sum_{u=1}^n|x_{ju}|^2\right)+2\sum_u|x_{iu}||x_{ju}|\leq \left(\sum_{u=1}^n|x_{iu}|^2\right)+\left(\sum_{u=1}^n|x_{ju}|^2\right)+2\sqrt{\left(\sum_{u=1}^n|x_{iu}|^2\right)}\sqrt{\left(\sum_{u=1}^n|x_{ju}|^2\right)} (u=1∑n∣xiu∣2)+(u=1∑n∣xju∣2)+2u∑∣xiu∣∣xju∣≤(u=1∑n∣xiu∣2)+(u=1∑n∣xju∣2)+2(u=1∑n∣xiu∣2)(u=1∑n∣xju∣2)
显然成立。

11章

11.8：xk+1=arg⁡min⁡xL2∥x−z∥22+λ∥x∥1\mathbf x_{k+1}=\arg\min_{\mathbf x}\frac{L}{2}\|\mathbf x-\mathbf z\|_2^2+\lambda \|\mathbf x\|_1xk+1=argminx2L∥x−z∥22+λ∥x∥1

对等式右侧按分量展开得：L2∑i(xi−zi)2+λ∑i∣xi∣\frac{L}2\sum_i(x^i-z^i)^2+\lambda\sum_i|x^i|2L∑i(xi−zi)2+λ∑i∣xi∣（xix^ixi 表示 x\mathbf xx 的第 iii 个分量），其对 xix^ixi 的偏导为：

xi>0x^i>0xi>0 时，(xi−zi)⋅L+λ=0(x^i-z^i)\cdot L+\lambda=0(xi−zi)⋅L+λ=0，得 xi=−λL+zix^{i}=-\frac{\lambda}{L}+z^ixi=−Lλ+zi，结合条件 xi>0x^i>0xi>0才得到这样的结论，因此有：zi>λLz^i\gt \frac{\lambda }{L}zi>Lλ
同样地，xi<0x^i\lt 0xi<0 时，(xi−zi)⋅L−λ=0(x^i-z^i)\cdot L-\lambda=0(xi−zi)⋅L−λ=0，得 xi=λL+zix^{i}=\frac{\lambda}{L}+z^ixi=Lλ+zi，结合条件 xi<0x^i<0xi<0才得到这样的结论，因此有：zi<−λLz^i\lt -\frac{\lambda }{L}zi<−Lλ

周志华《机器学习》读书笔记与习题答案（持续更新）相关推荐

【机器学习周志华】读书笔记 P3 机器学习发展历程（选读）
机器学习是人工智能研究发展到一定阶段的必然产物. 20世纪50年代-20世纪70年代初: 人工智能研究处于推理期. 人们以为只要能赋予机器逻辑推理能力,机器就能具有智能. 但是人们逐渐意识到光有逻辑推 ...
【机器学习周志华】读书笔记 P1 机器学习基本概念知识
可以看出,我们人类能做出有效的预判,是因为我们已经积累了许多经验,而通过对经验的利用,就能对新情况做出有效的决策. Taken from Prof Zhou <机器学习>俗称"西 ...
周志华机器学习（西瓜书）学习笔记（持续更新）
<周志华机器学习>笔记第1章绪论 1.1 引言 1.2 基本术语 1.3 假设空间 1.4 归纳偏好 1.5 发展历程 1.6 应用现状第2章模型评估与选择 2.1 经验误差与过拟 ...
【读书笔记】周志华机器学习第二章模型评估和选择
第二章模型评估和选择 1 欠拟合和过拟合偏差和方差 1.1 欠拟合和过拟合 1.2 偏差和方差 2 评估方法性能度量 2.1 评估方法 2.1.1 留出法 2.2.2 交叉验证法 2.2.3 自 ...
小吴的《机器学习周志华》学习笔记第二章模型评估与选择
小吴的<机器学习周志华>学习笔记第二章模型评估与选择上一周我们介绍了第一章的基础概念,这一次将带来第二章的前三节.后面的2.4 比较检验与2.5 偏差与方差,涉及概率论与数理统计概 ...
小吴的《机器学习周志华》学习笔记第一章绪论
小吴的<机器学习周志华>学习笔记第一章绪论近一年时间接触到不少机器学习的知识,虽然断断续续学了一些,总感觉还没有入门(只学会了疯狂调包).因此,最近开始系统学习Machine Le ...
周志华-机器学习西瓜书-第三章习题3.3 编程实现对率回归
本文为周志华机器学习西瓜书第三章课后习题3.3答案,编程实现对率回归,数据集为书本第89页的数据使用tensorflow实现过程 # coding=utf-8 import tensorflow a ...
小吴的《机器学习周志华》学习笔记第二章 2.4 比较检验、2.5 偏差与方差
小吴的<机器学习周志华>学习笔记第二章 2.4 比较检验. 2.5 偏差与方差 2.4 比较检验上一周提到了实验的评价方法和性能量度,步骤简单可以看成:先使用某种实验评估方法测得学习 ...
机器学习（周志华）西瓜书课后习题4.3 信息熵决策树算法——python实现（包括树的可视化）
机器学习(周志华)西瓜书课后习题4.3 信息熵决策树算法--python实现(包括树的可视化) 算法原理 1.信息熵 2.信息增益我们所以要做的就是不断地从当前剩余的属性当中选取最佳属性对样本集进 ...
周志华机器学习--绪论
周志华机器学习–绪论第一章绪论第二章模型评估与选择第三章线性模型第四章决策树第五章支持向量机第六章神经网络第七章贝叶斯分类器第八章集成学习和聚类文章目录周志华机器学 ...

周志华《机器学习》读书笔记与习题答案（持续更新）

9 章

11章

周志华《机器学习》读书笔记与习题答案（持续更新）相关推荐

最新文章

热门文章