利用分类模型学习特征权重
在有的时候，我们需要学习出特征在分类器中所占的比重，例如判断某个人是否具有贷款资格，特征收入应该比年龄要更重要一些，那么具体重要多少，我们可以通过训练数据学习出来。
第一个办法可以借鉴决策树中特征选择的思想，以贷款为例，特征向量=｛年龄，收入，有房子，婚否｝。通过计算每个特征Ai在训练数据集下的信息增益：
gi(D,Ai)=H(D)−H(D|Ai)，i=1,2,3,4
得到四个信息增益值，对其做归一化处理，可得每个特征所占的权重：
wi=gi(D,Ai)∑i=14gi(D,Ai)
第二个办法借鉴投票机制，选择一种分类模型，分别训练出该特征下的分类器，并在测试集中验证正确率，以训练SVM分类器为例，
1、在训练数据集D下分别训练出四个SVM分类器，每个分类器都是关于单特征的分类器，如分类器S1是关于单特征年龄的；
2、在测试集Dt下分别测试四个分类器的分类效果，并统计正确分类个数counti，i=1,2,3,4分别表示四个特征下的正确分类数；
3、对第二步求出的counti做归一化处理，即可得到特征的权重wi=counti∑i=14counti。
基于投票机制，还可以考虑利用缺一法来求得特征权重，过程如下：
1、在训练数据集D下，分别训练缺少了第i个特征的分类器，如分类器S1的特征为｛收入，有房子，婚否｝；
2、在测试集Dt下分别测试四个分类器的分类效果，并统计错误分类个数counti，i=1,2,3,4分别表示四个特征下的错误分类数。
3、对第二步求出的counti做归一化处理，即可得到特征的权重wi=counti∑i=14counti。
利用分类模型学习特征权重相关推荐
- 文本分类模型学习笔记
文本分类模型学习笔记 TextCNN 模型结构 HAN 模型结构 实验 数据集 预处理 模型内容 模型训练 模型测试 近年来,深度学习模型在计算机视觉和语音识别中取得了显著成果.在自然语言处理中,深度 ...
- 基于MaixHub的小方舟分类模型学习
基于MaixHub的小方舟分类模型学习 前言 一.材料准备 二.烧录固件 1.固件下载 2.烧录固件 三.制作数据集 1.收集需要训练的目标的照片 2.转换格式 3.照片分类 四.机器码获取 五.模型 ...
- 分类模型 · 学习笔记一
文章目录 分类模型 分类算法一:逻辑回归 一.直接采用线性概率模型是否可行? 二.模型的构建 1. 两点分布(伯努利分布) 2. 那么连接函数 F ( x , β ) F(x,\beta) F(x,β ...
- 通过机器学习得到样本的特征权重
描述: 计算每个特征对样本集进行划分所获得的信息增益,然后做归一化处理可以得到每个特征的权重 目标: 样本降维 一种算法策略:参考决策树的划分选择 首先引入概念信息熵.信息增益. 信息熵(inform ...
- 基于功能连接的认知机器学习预测模型：特征权重可靠吗？
文章来源于微信公众号(茗创科技),欢迎有兴趣的朋友搜索关注. 利用机器学习方法,可以从个人的功能性大脑连接中预测认知表现.但是预测模型在支持认知的神经生物学加工方面仍存在争议,目前的见解也比较有限.特 ...
- 分类模型与排序模型在推荐系统中的异同分析
出品社区:DataFunTalk 前言 推荐系统是驱动内容分发的引擎,而个性化则是推荐系统的核心思想.分类模型和排序模型是业界常用的两种个性化建模方式.本文探讨两种方法的异同点,总结如下: 分类模型回 ...
- logistic回归 如何_第七章：利用Python实现Logistic回归分类模型
免责声明:本文是通过网络收集并结合自身学习等途径合法获取,仅作为学习交流使用,其版权归出版社或者原创作者所有,并不对涉及的版权问题负责.若原创作者或者出版社认为侵权,请联系及时联系,我将立即删除文章, ...
- 文本分类模型_文本分类中的经典深度学习模型
众所周知,文本分类是NLP领域中十分基础的任务,大部分文本分类模型稍加修改就可以应用到其他任务中.下面介绍几个经典的文本分类模型. 图中被引数来源google学术(2019/5/16) 1. text ...
- 神经网络学习小记录19——微调VGG分类模型训练自己的数据（猫狗数据集）
神经网络学习小记录19--微调VGG分类模型训练自己的数据(猫狗数据集) 注意事项 学习前言 什么是VGG16模型 VGG模型的复杂程度 训练前准备 1.数据集处理 2.创建Keras的VGG模型 3 ...
- 学习笔记26-解决：载入预训练模型时Pytorch遇到权重不匹配的问题（附+修改后的预训练模型载入和冻结特征权重完整代码）
在pytorch微调mobilenetV3模型时遇到的问题 1.KeyError: 'features.4.block.2.fc1.weight' 这个是因为模型结构修改了,没有正确修改预训练权重,导 ...
最新文章
- tomcat 配置方法
- java servlet filter_Java Servlet Filter
- Graphpad Prism 9绘制子列图与柱状图
- nginx的脚本引擎（一）
- Oracle中insert into select和select into的区别
- 划分子网后的三级结构
- 分类数据显示功能_缓存优化
- 排序算法之------归并排序
- 新手教程：Mac电脑如何设置自动隐藏菜单栏？
- 破解版软件-20131014更新
- mac怎么无线打印机连接到服务器,苹果电脑连接wifi打印机的方法
- VS2017中添加Flash控件
- 先正达谋定农化世界竞争格局-丰收节贸易会：座次重排
- 按照账号定位持续发视频，数据不会太差！
- 使用Guardium和Privileged Identity Manager（PIM）缓解内部威胁
- java判断麻将听牌_和牌看听：麻将听牌种类大全
- 提升线下零售企业的市场竞争力--数据分析
- Maven传递性依赖解读
- mysql用18位存储uuid_MySQL中存储UUID的最佳实践
- 卫星过顶计算matlab,一种圆轨道低轨卫星过顶剩余可见时长预测方法