【机器学习基础】数学推导+纯Python实现机器学习算法18:奇异值分解SVD
Python机器学习算法实现
Author:louwill
Machine Learning Lab
奇异值分解(Singular Value Decomposition,SVD)作为一种常用的矩阵分解和数据降维方法,在机器学习中也得到了广泛的应用,比如自然语言处理中的SVD词向量和潜在语义索引,推荐系统中的特征分解,SVD用于PCA降维以及图像去噪与压缩等。作为一个基础算法,我们有必要将其单独拎出来在机器学习系列中进行详述。
特征值与特征向量
在学习SVD原理之前,我们有必要对矩阵的特征值与特征向量进行回顾。矩阵的特征值与特征向量定义如下:
其中为矩阵,为一维向量,则定义为矩阵的一个特征值,向量是矩阵的特征值所对应的特征向量。
实际计算时,我们通过求解齐次方程来计算矩阵的特征值和特征向量。
将矩阵计算出特征值和特征向量的直接好处就是我们可以将矩阵进行分解,假设矩阵有个特征值,以及每个特征值对应的特征向量,那么矩阵就可以用下式进行分解:
在线性代数中,我们也将上式成为矩阵的对角化,或者求矩阵的相似矩阵。一般我们会将矩阵的个特征向量进行标准化和正交化处理,满足,所以就有,即为酉矩阵。最终上述分解表达式可表示为:
矩阵要计算特征值和特征向量的一个必要条件就是该矩阵必须要为方阵,即矩阵维度为。
但大多数情况下,我们碰到的矩阵都是非方阵的的情形。当矩阵行列不等时,如果我们也想对其进行矩阵分解,那就必须使用SVD了。
SVD详解
假设现在我们要对非方阵进行矩阵分解,定义分解表达式为:
其中为矩阵,为对角阵,为矩阵。和均为酉矩阵,即和满足:
SVD的图解示意如下图所示。
我们可以通过求解齐次方程的形式来求解特征值和特征矩阵,那么在上式中,我们如何求解这三个矩阵呢?
还是需要借助于矩阵的特征值和特征向量。
由于矩阵是非方阵,现在将矩阵与其转置矩阵做矩阵乘法运算,可得到的方阵,然后对该矩阵求特征值和特征向量:
由上式我们即可求得方阵的个特征值和特征向量,该个特征向量构成的特征矩阵即为矩阵。我们把矩阵中的每个向量称为矩阵的左奇异向量。
同理,将矩阵的其转置矩阵与矩阵做矩阵乘法运算,同样可得的方阵,然后对该矩阵求特征值和特征向量:
由上式我们即可求得方阵的个特征值和特征向量,该个特征向量构成的特征矩阵即为矩阵。我们把矩阵中的每个向量称为矩阵的右奇异向量。
左奇异矩阵和右奇异矩阵求出来后,我们只剩下中间的奇异值矩阵尚未求出。奇异值矩阵除了对角线上的奇异值,其余元素均为0,所以我们只要求出矩阵的奇异值即可。可推导:
所以我们可由上述推导计算得到奇异值矩阵。实际上,由下述推导:
可知特征值矩阵为奇异值矩阵的平方,即特征值为奇异值的平方。
Python SVD实现
Python中numpy和scipy两个科学计算库都直接提供了SVD的实现方式,所以我们这里就不再基于numpy手写SVD的实现过程了。下面基于numpy.linalg线性代数模块下的svd函数来看一个计算实例。
import numpy as np
# 创建一个矩阵A
A = np.array([[0,1],[1,1],[1,0]])
# 对其进行SVD分解
u, s, vt = np.linalg.svd(A, full_matrices=True)
print(u.shape, s.shape, vt.shape)
(3, 3) (2,) (2, 2)
然后分别查看u、s和v矩阵,并验证下是否可由这三个矩阵恢复到矩阵A。
# 矩阵u
print(u, s, v.T)
array([[-4.08248290e-01, 7.07106781e-01, 5.77350269e-01],[-8.16496581e-01, 5.55111512e-17, -5.77350269e-01],[-4.08248290e-01, -7.07106781e-01, 5.77350269e-01]])
array([1.73205081, 1. ])
array([[-0.70710678, -0.70710678],[-0.70710678, 0.70710678]])
可以看到该svd函数对结果中的奇异值矩阵进行简化了,只给出了奇异值向量,将矩阵中其余为0的元素均省去了。
# 由u,s,v恢复矩阵A
np.dot(u[:,:2]*s, vt)
array([[ 1.11022302e-16, 1.00000000e+00],
[ 1.00000000e+00, 1.00000000e+00],
[ 1.00000000e+00, -3.33066907e-16]])
基本能够恢复矩阵A,因浮点数存在计算误差,这里可以忽略不计。
SVD图像压缩
我们可以尝试将SVD用于图像的压缩算法。其原理就是保存像素矩阵的前k个奇异值,并在此基础上做图像恢复。由SVD的原理我们可以知道,在SVD分解中越靠前的奇异值越重要,代表的信息含量越大。
下面我们尝试对一个图像进行SVD分解,并分别取前1~50个奇异值来恢复该图像。需要恢复的图像如下(厚着脸皮拿笔者自己作为示例):
实现代码如下:
import numpy as np
import os
from PIL import Image
from tqdm import tqdm
# 定义恢复函数,由分解后的矩阵恢复到原矩阵
def restore(u, s, v, K):
'''u:左奇异矩阵v:右奇异矩阵s:奇异值矩阵K:奇异值个数'''m, n = len(u), len(v[0])a = np.zeros((m, n))
for k in range(K):uk = u[:, k].reshape(m, 1)vk = v[k].reshape(1, n)
# 前k个奇异值的加总a += s[k] * np.dot(uk, vk) a = a.clip(0, 255)
return np.rint(a).astype('uint8')
A = np.array(Image.open("./ml_lab.jpg", 'r'))
# 对RGB图像进行奇异值分解
u_r, s_r, v_r = np.linalg.svd(A[:, :, 0])
u_g, s_g, v_g = np.linalg.svd(A[:, :, 1])
u_b, s_b, v_b = np.linalg.svd(A[:, :, 2])
# 使用前50个奇异值
K = 50
output_path = r'./svd_pic'
# 恢复图像
for k in tqdm(range(1, K+1)):R = restore(u_r, s_r, v_r, k)G = restore(u_g, s_g, v_g, k)B = restore(u_b, s_b, v_b, k)I = np.stack((R, G, B), axis=2) Image.fromarray(I).save('%s\\svd_%d.jpg' % (output_path, k))
当仅使用一个奇异值时,被压缩后的图像模糊一团,除了颜色线条啥也看不出:
当使用前10个奇异值时,恢复后的压缩图像隐约可见轮廓,就像打了马赛克一样:
如此继续扩大奇异值的数量,当我们取到前50个奇异值的时候,恢复后的压缩图像已经相对清晰许多了:
渐进效果如下:
总体而言就是图像清晰度随着奇异值数量增多而变好。当奇异值k不断增大时,恢复后的图像就会无限逼近于真实图像。这便是基于SVD的图像压缩原理。
往期精彩:
数学推导+纯Python实现机器学习算法17:XGBoost
数学推导+纯Python实现机器学习算法16:Adaboost
数学推导+纯Python实现机器学习算法15:GBDT
数学推导+纯Python实现机器学习算法14:Ridge岭回归
数学推导+纯Python实现机器学习算法13:Lasso回归
数学推导+纯Python实现机器学习算法12:贝叶斯网络
数学推导+纯Python实现机器学习算法11:朴素贝叶斯
数学推导+纯Python实现机器学习算法10:线性不可分支持向量机
数学推导+纯Python实现机器学习算法8-9:线性可分支持向量机和线性支持向量机
数学推导+纯Python实现机器学习算法7:神经网络
数学推导+纯Python实现机器学习算法6:感知机
数学推导+纯Python实现机器学习算法5:决策树之CART算法
数学推导+纯Python实现机器学习算法4:决策树之ID3算法
数学推导+纯Python实现机器学习算法3:k近邻
数学推导+纯Python实现机器学习算法2:逻辑回归
数学推导+纯Python实现机器学习算法1:线性回归
往期精彩回顾适合初学者入门人工智能的路线及资料下载机器学习及深度学习笔记等资料打印机器学习在线手册深度学习笔记专辑《统计学习方法》的代码复现专辑
AI基础下载机器学习的数学基础专辑获取一折本站知识星球优惠券,复制链接直接打开:https://t.zsxq.com/yFQV7am本站qq群1003271085。加入微信群请扫码进群:
【机器学习基础】数学推导+纯Python实现机器学习算法18:奇异值分解SVD相关推荐
- 【机器学习基础】数学推导+纯Python实现机器学习算法30:系列总结与感悟
Python机器学习算法实现 Author:louwill Machine Learning Lab 终于到了最后的总结.从第一篇线性回归的文章开始到现在,已经接近有两年的时间了.当然,也不是纯写这3 ...
- 【机器学习基础】数学推导+纯Python实现机器学习算法24:HMM隐马尔可夫模型
Python机器学习算法实现 Author:louwill Machine Learning Lab HMM(Hidden Markov Model)也就是隐马尔可夫模型,是一种由隐藏的马尔可夫链随机 ...
- 【机器学习基础】数学推导+纯Python实现机器学习算法28:CRF条件随机场
Python机器学习算法实现 Author:louwill Machine Learning Lab 本文我们来看一下条件随机场(Conditional Random Field,CRF)模型.作为概 ...
- 【机器学习基础】数学推导+纯Python实现机器学习算法27:EM算法
Python机器学习算法实现 Author:louwill Machine Learning Lab 从本篇开始,整个机器学习系列还剩下最后三篇涉及导概率模型的文章,分别是EM算法.CRF条件随机场和 ...
- 【机器学习基础】数学推导+纯Python实现机器学习算法26:随机森林
Python机器学习算法实现 Author:louwill Machine Learning Lab 自从第14篇文章结束,所有的单模型基本就讲完了.而后我们进入了集成学习的系列,整整花了5篇文章的篇 ...
- 【机器学习基础】数学推导+纯Python实现机器学习算法25:CatBoost
Python机器学习算法实现 Author:louwill Machine Learning Lab 本文介绍GBDT系列的最后一个强大的工程实现模型--CatBoost.CatBoost与XGBoo ...
- 【机器学习基础】数学推导+纯Python实现机器学习算法24:LightGBM
Python机器学习算法实现 Author:louwill Machine Learning Lab 第17讲我们谈到了竞赛大杀器XGBoost,本篇我们来看一种比XGBoost还要犀利的Boosti ...
- 【机器学习基础】数学推导+纯Python实现机器学习算法23:kmeans聚类
Python机器学习算法实现 Author:louwill Machine Learning Lab 聚类分析(Cluster Analysis)是一类经典的无监督学习算法.在给定样本的情况下,聚类分 ...
- 【机器学习基础】数学推导+纯Python实现机器学习算法22:最大熵模型
Python机器学习算法实现 Author:louwill Machine Learning Lab 最大熵原理(Maximum Entropy Principle)是一种基于信息熵理论的一般原理,在 ...
- 【机器学习基础】数学推导+纯Python实现机器学习算法21:马尔可夫链蒙特卡洛...
Python机器学习算法实现 Author:louwill Machine Learning Lab 蒙特卡洛(Monte Carlo,MC)方法作为一种统计模拟和近似计算方法,是一种通过对概率模型随 ...
最新文章
- 公司终于决定放弃微服务传统设计模式,全面拥抱 DDD!
- 推荐系统(1)--splitting approaches for context-aware recommendation
- 细述 Java垃圾回收机制→Java Garbage Collection Monitoring and Analysis
- .net 考试系统人一多就断开了_2020年银行从业资格考试成绩查询入口已开放
- Internet导致业务绩效降低的4个怪原因—Vecloud微云
- linux内核与设备驱动,第二章 Linux内核与设备驱动程序
- jwt如何防止token被窃取_在吗?认识一下JWT(JSON Web Token)?
- 作者:张鹏(1993-),男,国防科学技术大学并行与分布处理重点实验室硕士生...
- go 链路追踪_使用opentracing,jaeger实现golang链路追踪
- mysql查询语句块_mysql查询语句
- OpenCV学习:Windows+VS2010+OpenCV配置
- 网络流二十四题之魔术球问题
- 笨方法学Python(一)
- 会计计算机二级考试试题,计算机二级考试真题-Word-小刘-会计电算化节节高升...
- L3HSEC 2022秋季招新赛部分WP
- Gateway统一网关(2021-11-14)
- 2022泰迪杯数据分析技能赛B题方案及赛后总结:银行客户忠诚度分析
- Android AOSP 源码 编译 android5.1.1,并刷入手机
- 图片嵌在文字里首行缩进
- 1953年克里克和沃森发现DNA双螺旋结构
热门文章
- Apache2启动错误以及Ubuntu update的错误
- 51nod 1115 最大M子段和 V3
- 数字证书及CA的扫盲介绍
- redis基础之订阅发布、主从复制和事务(四)
- 背包问题 tyvj1172
- webpack入门(四)——webpack loader 和plugin
- [HDOJ4588]Count The Carries(数学,规律)
- JavaWeb(七)——Cookie、Session
- android更改menu字体颜色,Android动态修改menu颜色
- 大数据标签获取处理步骤_大数据处理分为哪些步骤