1.信息熵：

利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。一条信息的信息量和它的不确定性有着直接的关系。所发出的消息不同，它们所含有的信息量也就不同。任何一个消息的自信息量都代表不了信源所包含的平均自信息量。不能作为整个信源的信息测度，因此定义自信息量的数学期望为信源的平均自信息量：

信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。信息熵一般用符号H表示，单位是比特。变量的不确定性越大，熵也就越大。

2.图像熵：

2.1.一元灰度熵

图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令Pi 表示图像中灰度值为i的像素所占的比例，则定义灰度图像的一元灰度熵为：

其中Pi是某个灰度在该图像中出现的概率，可由灰度直方图获得。

2.2.二维熵

图像的一维熵可以表示图像灰度分布的聚集特征，却不能反映图像灰度分布的空间特征，为了表征这种空间特征，可以在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。选择图像的邻域灰度均值作为灰度分布的空间特征量，与图像的像素灰度组成特征二元组，记为( i, j )，其中i 表示像素的灰度值(0 <= i <= 255)，j 表示邻域灰度均值(0 <= j <= 255)：

上式能反应某像素位置上的灰度值与其周围像素灰度分布的综合特征，其中f(i, j)为特征二元组(i, j)出现的频数，N 为图像的尺度，定义离散的图像二维熵为：

构造的图像二维熵可以在图像所包含信息量的前提下，突出反映图像中像素位置的灰度信息和像素邻域内灰度分布的综合特征。

3.源码

[plain] view plaincopy

1.求一元灰度熵
%方法一
[M,N]=size(im);
temp=zeros(1,256);
%对图像的灰度值在[0,255]上做统计
for m=1:M;
for n=1:N;
if im(m,n)==0;
i=1;
else
i=im(m,n);
end
temp(i)=temp(i)+1;
end
end
temp=temp./(M*N);
%由熵的定义做计算
result=0;
for i=1:length(temp)
if temp(i)==0;
result=result;
else
result=result-temp(i)*log2(temp(i));
end
end
%方法二
%求熵值entropy
im=rgb2gray(imread('mubiao.bmp'));
[count,x]=imhist(im);
total=sum(count);
entropy=0;
for i=1:256
p(i)=count(i)/total;
if p(i)~=0
logp(i)=log2(p(i));
entropele=-p(i)*logp(i);
entropy=entropy+entropele;
end
end
2.求二维熵
%随机生成图像
A=floor(rand(8,8).*255);
[M,N]=size(A);
temp=zeros(1,256);
%对图像的灰度值在[0,255]上做统计
for m=1:M;
for n=1:N;
if A(m,n)==0;
i=1;
else
i=A(m,n);
end
temp(i)=temp(i)+1;
end
end
temp=temp./(M*N);
%由熵的定义做计算
result=0;
for i=1:length(temp)
if temp(i)==0;
result=result;
else
result=result-temp(i)*log2(temp(i));
end
end
3.计算联合熵
%随机生成图像
A=floor(rand(8,8).*255);
B=floor(rand(8,8).*255);
[M,N]=size(A);
temp=zeros(256,256);
%对图像的灰度值成对地做统计
for m=1:M;
for n=1:N;
if A(m,n)==0;
i=1;
else
i=A(m,n);
end
if B(m,n)==0;
j=1;
else
j=B(m,n);
end
temp(i,j)=temp(i,j)+1;
end
end
temp=temp./(M*N);
%由熵的定义做计算
result=0;
for i=1:size(temp,1)
for j=1:size(temp,2)
if temp(i,j)==0;
result=result;
else
result=result-temp(i,j)*log2(temp(i,j));
end
end
end

4.Matlab的计算熵的函数

Matlab中的这2个函数分别是计算熵的，entropy计算全局熵，entropyfilt计算局部熵

给定一个灰度图I， entropy(I)的计算方法是，将I直方图化到0-255的bin中，L1规范化，再用 –sum(p*log2(p))来计算整理熵，即

Curhist = Hist(I， 0:255);

Curhist = curhist / sum(curhist);

E = -sum(curhist .* log2(curhist));

entropyfilt选取以各像素点为中心的的n*n(默认n=9)的区域进行熵计算，计算方法同上。该方法可以表示纹理

调用方法如下：

E = entropy(I)

J = entropyfilt(I)
J = entropyfilt(I,NHOOD)

参考来源：

http://www.zhizhihu.com/html/y2010/1367.html

转载于:https://www.cnblogs.com/molakejin/p/5255481.html

paper 38 ：entropy相关推荐

SitePoint播客＃38：猫的大脑
Episode 38 of The SitePoint Podcast is now available! This week your hosts are Stephan Segraves (@ss ...
Paper Pal：一个中英文论文及其代码大数据搜索平台
点击上方蓝字关注我们 Paper Pal:一个中英文论文及其代码大数据搜索平台余万, 付聿炜, 熊贇, 朱扬勇 1 引言在开展科研工作的过程中,科研人员需要从大量实时更新的论文中持续地跟踪学术界前 ...
Effective C# 原则38：使用和支持数据绑定(译)
Effective C# 原则38:使用和支持数据绑定 Item 38: Utilize and Support Data Binding 有经验的Windows程序员一定对写代码从一个控件上取值,以 ...
笨办法学 Python · 续练习 38：SQL 简介
练习 38:SQL 简介原文:Exercise 38: Introduction To SQL 译者:飞龙协议:CC BY-NC-SA 4.0 自豪地采用谷歌翻译学习如何建模和设计实体数据的最佳 ...
paper reading：Part-based Graph Convolutional Network for Action Recognition
paper reading:Part-based Graph Convolutional Network for Action Recognition 文章目录 paper reading:Part- ...
paper reading：[renormalization]Semi-supervised Classification with Graph Convolutional Networks
paper reading:[Renormalization Trick] Semi-supervised classification with graph convolutional networ ...
剑指offer——面试题38：数字在排序数组中出现的次数
剑指offer--面试题38:数字在排序数组中出现的次数 20180906整理 Solution1: [注意]先利用二分查找扎到一个值然后再顺序遍历的做法时间复杂度也是O(n)O(n)O(n),代码也 ...
paper 94：视觉领域博客资源1之中国部分
这是收录的图像视觉领域的博客资源的第一部分,包含:中国内地.香港.台湾这些名人大家一般都熟悉,本文仅收录了包含较多资料的个人博客,并且有不少更新,还有些名人由于分享的paper.code或者数据集不 ...
Paper翻译：《A Novel Convolutional Neural Network Based Model for Recognition and Classification of App》
论文名称:<A Novel Convolutional Neural Network Based Model for Recognition and Classification of Appl ...

paper 38 ：entropy