前言

这个笔记是北大那位老师课程的学习笔记，讲的概念浅显易懂，非常有利于我们掌握基本的概念，从而掌握相关的技术。

basic concepts

exp(−tz12)=∫exp(−tuz)dF(u)exp(-tz^{\frac{1}{2}}) =\int exp(-tuz) dF(u)exp(−tz21)=∫exp(−tuz)dF(u)
z=∣∣x∣∣2z=||x||^2z=∣∣x∣∣2
exp(−t∣∣x∣∣),exp(−t∣∣x∣∣).exp(-t||x||),exp(-t||x||).exp(−t∣∣x∣∣),exp(−t∣∣x∣∣).
The product of P.D is P.D
eul distance transformed into another space to get the distance.
∣∣ϕ(x)−ϕ(y)∣∣22||\phi(x)-\phi(y)||^2_2∣∣ϕ(x)−ϕ(y)∣∣22
Part2 unsuperrised learning
CB dimensionlity reduction.

PCA(Principal Component Analysis)

Population PCA
Def. if x‾⊂Rpisarandomvector,withmean:uandcovariancematrixσ\overline x \subset R^p \quad is\quad a\quad random \quad vector, \quad with \quad mean:u \quad and \quad covariance \quad matrix \sigmax⊂Rpisarandomvector,withmean:uandcovariancematrixσ
then the PCA is
x‾−>y‾=Ut(x−u)\overline x-> \overline y=U^t(x-u)x−>y=Ut(x−u)
when U is orthgonal.

Spectral Decompistion

Thm,
Ifx−>N(μ,σ)If x->N(\mu,\sigma)Ifx−>N(μ,σ) Then,yN(0,n)y~N(0,n)y N(0,n)
(2)E(y0)=0,E(y_0)=0,E(y0)=0,
(3)Cov(Ym,Yi)=0fori!=jCov(Y_m,Y_i)=0 for i !=j Cov(Ym,Yi)=0fori!=j
(4)yisaorthangonaltransformxisuncorrelationbutotsqure.y \quad is\quad a \quad orthangonal \quad transform \quad x \quad is \quad uncorrelation \quad but \quad ot \quad squre. yisaorthangonaltransformxisuncorrelationbutotsqure.
(5)Var(Yi)=σiVar(Y_i)=\sigma_iVar(Yi)=σi

Sample Principal Component

LetX=[x‾1...x‾n]Tbean∗pLet X=[\overline x_1 ...\overline x_n]^T be\quad a \quad n*p LetX=[x1...xn]Tbean∗p

sample data matrix

x‾=1n∑x=1nx‾i,\overline x=\frac{1}{n} \sum_{x=1}^n \overline x_i,x=n1x=1∑nxi,
S=1nXTHXS=\frac{1}{n}X^THXS=n1XTHX
H:In=1nInInH:I_n=\frac{1}{n}I_nI_nH:In=n1InIn
reduce the data to k-dimension ,you get the first k element.
keep most information,PCA.suppos.

SVD

U=eigenvectorof(AAT)U=eigenvectorof(AA^T)U=eigenvectorof(AAT)
D=AATD=\sqrt{AA^T}D=AAT
V=eigenvector(ATA)V=eigenvector(A^TA)V=eigenvector(ATA)

PCO(Principal Coordinate Analysis)

S=XTHXS=X^THXS=XTHX
power equal : HH=H
B=HXXTHB=HXX^THB=HXXTH
variance matrix
AB=BA
Non-zero eigenvector are equal.

机器学习导论（张志华）：主元分析相关推荐

张志华统计机器学习
统计机器学习-张志华-例子-Bayesian Linear Regression 本节贝叶斯线性回归推到主要是根据张志华统计机器学习 p39课来的. 但是其课中大部分概率p省略了X,最初的时候不知 ...
张志华教授《机器学习导论》和《统计机器学习》课程讲义
张志华教授<机器学习导论>和<统计机器学习>课程讲义 [尊重原创,转载请注明出处]http://blog.csdn.net/guyuealian/article/details ...
《机器学习导论》和《统计机器学习》学习资料：张志华教授
张志华教授的两门机器学习公开课是很好的机器学习资源.但在上海交大的公开课视频网站上挂出的教学视频顺序有点乱.对于初学者来说,如果没看对顺序的话,会觉得讲得很乱,从而错过这么优质的资源.事实上板书很完整 ...
机器学习导论（张志华）笔记
介绍人工智能最近发展的如火如荼,要想本质掌握这门技术,离不开优秀资源的支撑. 北京大学的张志华老师,发布在网上的视频可以说是经典资源,特此分享给大家. 正文张志华 ,北京大学数学科学学院教授,北京 ...
张志华-统计机器学习-概论
文章目录统计机器学习概论 1. 统计机器学习需要掌握的知识与技术? 2.统计机器学习(SML)的问题分类 3. 参数估计:频率方法与贝叶斯方法 4. 频率派和贝叶斯派的统一统计机器学习概论本节主 ...
COS 访谈第 19 期：张志华教授
COS 访谈第 19 期:张志华教授张志华 / 常象宇关键词:COS 访谈; ESL; Mike Jordan; MLAPP; PRML; 大数据; 张志华; 机器学习; 统计学习; 郁彬文字整 ...
《机器学习》周志华学习笔记
<机器学习>周志华学习笔记第一章绪论 1.1 引言机器学习:致力于研究如何通过计算的手段,利用经验来改善系统自身的性能. 经验:"经验"通常以"数据& ...
机器学习_周志华_问题汇总_第2周
问题 Q1 如果我想分析一下文本分类错误的原因,应该从哪些方面入手? 可以去分析一下哪个类别错误率高,然后看看这个类别的是否不平衡,针对这个类别看看能不能进行改进. 还有就是数据量过少,或是数据质量较 ...
Linux教程(第5版) 孟庆尝牛欣源张志华 -课后习题答案
文章目录前言 Linux教程(第5版) 孟庆尝牛欣源张志华思考题1 思考题2 思考题3 思考题4 思考题5 思考题6 思考题7 思考题8 dd if=/dev/hda of=/root/mbr ...
机器学习（周志华）西瓜书课后习题4.3 信息熵决策树算法——python实现（包括树的可视化）
机器学习(周志华)西瓜书课后习题4.3 信息熵决策树算法--python实现(包括树的可视化) 算法原理 1.信息熵 2.信息增益我们所以要做的就是不断地从当前剩余的属性当中选取最佳属性对样本集进 ...

机器学习导论（张志华）：主元分析

前言