熵权法中计算的熵值与决策树的熵值完全不一样之谜

熵权法中的熵值计算公式如图所示：

比如说某个评价的指标完全一样，1,1,1,1,1,1

那么m=6，p1到p6的概率均等于1/6；这个时候的熵值是最大的；所以在计算指标权重时，用这种方法反而是数据越小越混乱；权重越大；所以计算权重时都需要将1-ent值；这里的本质是已经将类别分好的，这里的数值代表属于该类别的样本个数；

而我在决策树算法中看到的熵值，

m=2,p1=1（值为1的是一类）；p2=0，得到的熵值最小为0；数据完全有序；

熵值越大，数据越混乱越无序的结论没有错；当初的疑问是一个指标数据完全一样时，权值肯定为0，那其熵值肯定也为0，数据越乱必然熵值越高，权重也越高；但根据该公式的结论是熵值越大越有序，熵值越小越无序，权重越高；完全混乱了；

本质在于计算的p值方法不同；一种按类别计算的概率（决策树），我根据指标的值不同进行分类，然后计算概率；另一种是用每行都是一个类别，而每列对应的值是属于该类别的数量；

熵权法有一个弊端：如果某个评价指标全为一样的，会将所有数据置0，那么根据如下公式：

那么这个评价指标的所有信息熵都为0，那么数据就无序到了极致；其实这种情况就与本意相反；

个人的处理意见是如果这一列的原始数据全是相同的，如果不为0的话，就不用进行标准化，直接进行信息熵的计算，就会得出信息熵为1，最终权重为0 ，符合实际情况；如果全为0，就加1，重复前面的；
或者从根本上来说直接删除数据完全一样的列，因为该列不会有任何价值

熵权法中计算的熵值与决策树的熵值完全不一样之谜相关推荐

熵权法的计算--基于Excel
按照信息论基本原理的解释,信息是系统有序程度的一个度量,熵是系统无序程度的一个度量:如果指标的信息熵越大,该指标提供的信息量越大,在综合评价中所起作用理当越大,权重就应该越高.因此,可利用信息熵这个工 ...
熵权法excel计算过程_翅片式蒸发器如何最简单的进行计算和仿真？
前言: 翅片式换热器是制冷系统中最最常用的换热器之一,换热方式是强制式风冷换热器,尤其是家用空调中的蒸发器和冷凝器采用的都是翅片式换热器,而换热器其实又是制冷系统设计中最难的一部分,因为压缩机的匹配和 ...
[数据分析][评价方法]打分式评价-信息熵理论与熵权法
前言: 信息熵是一种用于衡量系统内部信息量的度量.在信息论中,信息是系统有序程度的一种度量. 信息是确定性的增加,不确定性的减少(香农定理).而信息熵是系统无序程度的一种度量,是系统不确定性的量度.两 ...
熵权法与Apriori算法对较多数据种类数据的处理
前言:前两天女朋友问我他们论文的时候看到他们用了基于熵权的TOPSIS模型做分析,由于本人没学过有关统计方面的知识,所以就去现学了一下.好巧不巧,在学校上课的时候老师提到了Apriori算法,突然联想 ...
基于熵权法对TOPSIS法模型的修正
最近在学习数学建模,在B站发现一个特别不错的课程,讲的很全面,常考的算法都有涉及到:清风数学建模本文将结合熵权法介绍TOPSIS法,并将淡化原理的推导,更侧重于具体应用. TOPSIS法概述 TO ...
数学建模笔记——评价类模型之熵权法
嗯,这次讲一讲熵权法,一种通过样本数据确定评价指标权重的方法. 熵权法之前我们提到了TOPSIS方法,用来处理有数据的评价类模型.TOPSIS方法还蛮简单的,大概就三步. 将原始数据矩阵正向化. 也 ...
熵权法EW与层次分析法AHP之数学原理及实例
1.概述对于多指标或多目标决策问题,由于涉及到多个指标或属性,在对实测数据进行评价时,需要确定这些指标之间的相互权重,各指标权重的客观性与合理性也会大大影响到最终的评价结果.目前对于指标权重确定的方 ...
建模笔记——熵权法(Python实现)
一.模型介绍熵权法是一种通过对已知数据的处理,从而获得影响因子权重的方法,其基本思路是根据指标变异性的大小来确定客观权重. 熵权法的优点在于其根据各项指标指标值的变异程度来确定指标权数的,是一种客观 ...
基于熵权法对Topsis模型的修正
基于熵权法对Topsis模型的修正有n个要评价的对象,m个评价指标的标准化矩阵,可以使用层次分析法给这m个评价指标确定权重 ∑j=1mωj=1\sum_{j=1}^m{\omega_j}=1 j=1 ...

熵权法中计算的熵值与决策树的熵值完全不一样之谜

熵权法中计算的熵值与决策树的熵值完全不一样之谜相关推荐

最新文章

热门文章