字典学习/稀疏表示学习笔记
首先向大家安利一下南大周志华老师写的《机器学习》这本书，作为一个对此一窍不通的人看了都觉得很有意思，受益匪浅。语言平实却又干货十足，比某些故弄玄虚泛泛而谈的其它国内教材高到不知哪里去了。
最近看的论文涉及到稀疏表示，正好这本书有讲到。这两天看了一下该书关于稀疏表示的部分（第11章），将核心知识点总结归纳一下，以免遗忘。若有错误，望大家赐教。
1.提出问题：什么是稀疏表示
假设我们用一个M*N的矩阵表示数据集X，每一行代表一个样本，每一列代表样本的一个属性，一般而言，该矩阵是稠密的，即大多数元素不为0。
稀疏表示的含义是，寻找一个系数矩阵A（K*N）以及一个字典矩阵B（M*K），使得B*A尽可能的还原X，且A尽可能的稀疏。A便是X的稀疏表示。
书上原文为
“为普通稠密表达的样本找到合适的字典，将样本转化为合适的稀疏表达形式，从而使学习任务得以简化，模型复杂度得以降低，通常称为‘字典学习’（dictionary learning），亦称‘稀疏编码’（sparse coding）”块内容
表达为优化问题的话，字典学习的最简单形式为：
其中xi为第i个样本，B为字典矩阵，aphai为xi的稀疏表示，lambda为大于0参数。
上式中第一个累加项说明了字典学习的第一个目标是字典矩阵与稀疏表示的线性组合尽可能的还原样本；第二个累加项说明了alphai应该尽可能的稀疏。之所以用L1范式是因为L1范式正则化更容易获得稀疏解。具体原因参看该书11.4章或移步机器学习中的范数规则化之（一）L0、L1与L2范数。字典学习便是学习出满足上述最优化问题的字典B以及样本的稀疏表示A（A{alpha1，alpha2，…，alphai}）。
2.字典学习求解
求解上述最优化问题的总体策略是，对字典B以及样本稀疏表示alphai交替迭代优化。即先初始化字典B，1.固定字典B对alphai进行优化。2.固定A对字典B进行优化。重复上述两步，求得最终B以及X的稀疏表示A。
其中第一步可采用与LASSO正则化相似的方法（如Proximal Gradient Desent法）进行求解，第二步可采用KSVD方法进行求解。具体步骤参看该书11.5章节内容或search the internet，因为我也不是很懂·····
字典学习/稀疏表示学习笔记相关推荐
- [转]字典学习/稀疏编码
本文转自https://zhuanlan.zhihu.com/p/26015351 机器学习--字典学习/稀疏编码学习笔记 Esquirrel 2 个月前 以下资料是小编学习字典学习/稀疏编码时,整理 ...
- 强化学习相关论文阅读笔记之稀疏奖励解决方法
注:该系列文章为强化学习相关论文的阅读笔记,欢迎指正! 论文题目:<深度强化学习中稀疏奖励问题研究综述> 文章目录 1. 论文介绍 2. 论文结构 3. 研究背景 3.1 解决稀疏奖励的必 ...
- 《Python 深度学习》刷书笔记 Chapter 8 Part-1 生成式深度学习
文章目录 生成式深度学习 8-1 对于不同的softmax温度,对概率进行重新加权 实现字符级的LSTM文本生成 8-2 下载并解析初始文本文件 8-3 将字符序列向量化 8-4 用于预测下一个字符的 ...
- 【《深度学习入门》—— 学习笔记（一）】
<深度学习入门>-- 学习笔记(一)_1-4章 第一章 Python入门 略 第二章 感知机(Perception) 2.1 感知机是什么 感知机接收多个输入信号,输出一个信号.x1, x ...
- 《Python学习手册》读书笔记
原文地址为: <Python学习手册>读书笔记 之前为了编写一个svm分词的程序而简单学了下Python,觉得Python很好用,想深入并系统学习一下,了解一些机制,因此开始阅读<P ...
- 【CS224n】2斯坦福大学深度学习自然语言处理课程笔记——词向量、词义和神经分类器
Natural Language Processing with Deep Learning 课程笔记2 1. 词向量和word2vec 2. 优化基础知识 3. 我们能否通过计数更有效地抓住词义的本 ...
- 【《深度学习入门》—— 学习笔记（二）】
<深度学习入门>-- 学习笔记(二)_5-8章 第五章 误差反向传播法 方法一:基于数学式 - 严密简洁 方法二:基于计算图(computational graph) - 直观 5.1 计 ...
- AI公开课：19.03.21钱诚/雷鸣等教授或专家《寒武纪-深度学习处理器》课堂笔记以及个人感悟
AI公开课:19.03.21钱诚/雷鸣/汪玉/侯晓林等教授或专家<寒武纪-深度学习处理器>课堂笔记以及个人感悟 导读:如果大家去创业的话,一定要看清未来的大趋势,看对赛道,当然,还有人才. ...
- 高效学习方法论的学习笔记
Author:鲁力(地山) 0.前言与致谢 如何提高学习效率?这一问题长期以来都是网上讨论的热点话题,就这一问题网上很多大咖以书籍.博客.知乎回答.视频等不同形式都发表过自己的观点见解和方法论.笔者在 ...
最新文章
- 手写 Spring 事务、IOC、DI 和 MVC
- Win7下删除FOXMAIL右键发送到选项
- linux 故障监控必备五款软件
- kafka中controller的作用_Kafka 常见问题汇总
- iOS开发 小知识点
- php调用md5.js,PHP和JS实现HTTP上安全地传输密码
- java需要先安装jdk_谢谢知乎。Java初学者首先下载 JDK 开发环境，然后再下 eclipse 对吗？那 tomcat是什么？还需要安装吗？...
- idhttp返回乱码_HTTP客户端POST方式中文编码（乱码）解决方案(转)
- Struts2值栈详解
- OpenMV(二)--IDE安装与固件下载
- 深入研究 Iptables 和 Netfilter 架构
- JSP 文件上传下载系列之一[基本方式上传文件]
- 数据库内获取准确的当前时间
- 生活娱乐 长的最奇怪的东西——骡耳犰狳
- 如何制作行政区划矢量图（shp格式）
- cad插入块_如何实现CAD图纸块的插入及合并操作
- java 上下文是什么意思_什么是执行上下文
- CAD学习笔记中级课【坐标】
- Android HAL硬件抽象层与硬件系统架构
- Unity shader build 打包android和PC机显示效果不一样