机器学习(特征选择与稀疏学习)
在做图像识别的程序中,我们经常遇到特征这个词语,也常有特征提取作为识别的前序工作,通常我们可以根据提取到的特征,根据应有特征进行对比,最终完成对物体缺陷等的识别。那么在提取到的众多特征中,如何有效的提取到能很好进行分类的特征呢?在识别过程中,往往通过经验总结,或直接的抽象特征作为判别条件。在机器学习中,周老师讲到的特征选择,我想也是对属性空间中所有特征,进行一个筛选,选择出有效特征。我想我们也可以理解成一种降维方法。去除干扰特征或无效特征的手段。因此在机器学习中我们可以认为特征选择是一个数据预处理过程,完成特征选择后,再进行训练学习器,最终完成良好的学习过程。
1、子集搜索与评价
特征:在给定的样本集中属性,我们将属性称为特征
相关特征:给定的属性集对当前学习任务有用的属性称为相关特征
无关特征:给定的属性集对当前学习任务无用的属性称为无关特征
特征选择:在给定的特征集合中选择出相关特征子集的过程,称为特征选择
冗余特征:所包含的信息能从其他特征中推演出来
前向搜索:给定一个子集,采用逐渐增加一个相关特征的策略称为前向搜索
后向搜索:从一个完整的特征集合开始,每次尝试去掉一个无关特征,这样逐渐减少特征的策略称为后向搜索
双向搜索:如果将前向搜索和后向搜索结合起来,每一次逐渐增加选定相关特征(这些特征在后续轮中将确定不会被去除),同时减少无关特征,这样的策略称为双向搜索
常见的特征选择方法可分为三类:过滤式、包裹式、嵌入式。
2、过滤式选择
过滤式方法先对数据集进行特征选择,然后再训练学习器,特征选择过程与后续学习器无关。这相当于先用特征选择过程对初始特征进行“过滤”,再用过滤后的特征来训练模型。
3、包裹式选择
包裹式特征选择直接把最终将要使用的学习器的性能作为特征子集的评价准则。也就是在每次进行特征选择后,将新的特征集放入学习器中进行训练,通过训练的结果来对特征选择进行评价,如此进行循环。
4、嵌入式选择与L1L1正则化
嵌入式选择:过滤式和包裹式特征选择,有明显的特征选择过程和训练学习器的过程。而嵌入式选择则是将特征选择过程与学习器训练过程融合为一体,两者在同一个优化过程中完成,也就是在学习器训练过程中自动的进行特征选择。
5、稀疏表示与字典学习
加入将一个数据集用矩阵进行表示,其中每一行代表一个样本,每列则对应于一个特征,特征选择所考虑的问题是特征具有“稀疏性”,即矩阵中的许多列与当前学习任务无关,通过特征选择去除这些列,则学习器训练过程仅需要较小的矩阵上进行,则学习任务难度将会所有降低,设计的计算和存储开销也会减少,因而学得的模型的可解释性也会提高。
如果给定的数据集是稠密的,如果利用稀疏性的优越性呢?因此就考虑是否可以将其数据集转化为稀疏表示的形式。周老师书中提到字典学习的方法来解决这种问题。
6、压缩感知
奈奎斯特采样定理
压缩感知分为 感知测量和重构恢复两个阶段
感知测量:关注如何将原始信号进行处理以获得稀疏样本表示
重构恢复:关注的是如何基于稀疏性从少量观测中恢复原信号
机器学习(特征选择与稀疏学习)相关推荐
- 笔记 | 《机器学习》中特征选择与稀疏学习
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 编辑:Sophia 计算机视觉联盟 报道 | 公众号 CVLianMeng 大家好,我是王博(Kings) 本次 ...
- 机器学习笔记(十一)特征选择和稀疏学习
11.特征选择和稀疏学习 11.1子集搜索与评价 对象都有很多属性来描述,属性也称为特征(feature),用于刻画对象的某一个特性.对一个学习任务而言,有些属性是关键有用的,而有些属性则可能不必要纳 ...
- 机器学习基础(四):特征选择与稀疏学习
4.特征选择与稀疏学习 对一个学习任务来说,给定属性集,其中有些属性可能很关键.很有用,另一些则可能没什么用.将属性称为特征feature,则对当前学习任务有用的属性称为相关特征relevant fe ...
- 特征选择与稀疏学习——机器学习(周志华)
原文链接 上篇主要介绍了经典的降维方法与度量学习,首先从"维数灾难"导致的样本稀疏以及距离难计算两大难题出发,引出了降维的概念,即通过某种数学变换将原始高维空间转变到一个低维的子空 ...
- 《机器学习》周志华(西瓜书)学习笔记 第十一章 特征选择与稀疏学习
机器学习 总目录 第十一章 特征选择与稀疏学习 11.1 子集搜索与评价 给定属性集,其中有些属性可能很关键.很有用,另一些 属性则可能没什么用.我们将属性称为"特征" (feat ...
- 《机器学习》阅读心得——十一、特征选择和稀疏学习
十一.特征选择和稀疏学习 11.1 子集搜索和评价 对一个学习任务来说,给定属性集,其中有些属性可能很关键,另一些属性可能没什么用,我们将属性称为"特征",对当前学习任务有用的 ...
- 机器学习第11章 特征选择与稀疏学习
第十一章 特征选择与稀疏学习 11.1 子集搜索与评价 对当前学习任务有用的属性称为"相关特征 ".没什么用的属性称为"无关特征".从给定的特征集合中选择出 ...
- 【机器学习】特征选择与稀疏学习总结
特征选择.稀疏学习
- 机器学习基础 之 特征选择和稀疏学习
文章目录 特征选择 1.过滤式选择 2.包裹式选择 3.嵌入式选择 稀疏学习 稀疏表示与字典学习 压缩感知 转自: https://www.zhenxiangsimple.com/2019/04/09 ...
- 《西瓜书》-11.特征选择与稀疏学习
11.特征选择与稀疏学习 11.1.子集搜索与评价 处理高维数据的两大主流技术:降维与特征选择. 降维从一定程度起到了提炼优质低维属性和降噪的效果,特征选择则是直接剔除那些与学习任务无关的属性而选择出 ...
最新文章
- 研究人员发现物联网存在安全漏洞
- C# 垃圾回收机制(转)
- 隐藏在管理员登录页面的危险
- JS_ECMA基本语法中的几种封装的小函数-1
- TypeScript 类型兼容
- Java开发者必备的六款工具
- springboot启动后进页面出现错误(java.sql.SQLNonTransientConnectionException: CLIENT_PLUGIN_AUTH is required)
- 记一次CentOS Install Docker 报错
- 项目中的异常处理应不应该获取后重新抛?
- 算术运算导致溢出_CPU的控制器与运算器
- 位置2的索引超出数组范围不能超过10_golang学习笔记--切片slice 与数组 arr
- 【顺序表和链表】实现增删查改数据结构 OJ题编程
- QT信号(signal)和槽(slot)问题
- 《HiWind企业快速开发框架实战》(2)使用HiWind创建自己的项目
- win10计算机桌面天气,win10电脑桌面显示时间和天气日期怎么设置
- OpenWrt 路由器过滤广告的N种方法
- 分享一下防水拉线位移编码器的原理及选型
- 关于表格冻结行和列的方法
- 订单超时、定时任务解决方案和思路
- 神经生物学博士就业前景,神经网络硕士就业前景
热门文章
- html2canvas没有样式,html2canvas没有抓住svg(html2canvas not grabbing svg)
- 如何优雅地处理过期订单
- (附源码)基于SpringBoot+Vue实验预约系统 毕业设计201524
- DxO PhotoLab 2.0完整汉化版|DxO PhotoLab 2.0中文版(WinX64)
- linux指令——刘雯丽
- 【大数据开发】SparkCore——自定义排序、实现序列化、自定义分区器
- BeautifulSoup基础学习笔记
- 1646 获取生成数组中的最大值
- shell编程之sort、uniq、tr
- linux的./configure --prefix的作用