香浓熵(Shannon)与冯诺伊曼熵(Von Neumann)

许多期刊发表的量子图像密码论文中，分析信息熵的时候用的是香农熵的公式，这不禁让人开始有点疑惑。因为，我们知道，香农熵一般用来是表示经典信息混乱程度的，为什么还可以用来表示量子信息混乱度。这不得不从香农熵和冯诺依曼上的公式上去推导，如果两者结果是一样的，那么可以说这两个公式是互通的。
香农熵

香农熵公式可以如上表示，信息mim_{i}mi及其相应的概率p(mi)p(m_{i})p(mi).

冯诺伊曼熵
其中ρ\rhoρ表示的是密度算符，它可以如下计算得到：

也就是说，如果是单个量子态的话，那么其密度算符就是本身量子态的外积；如果是多个量子态形成的系统，则可以表示成多个量子态外积乘以相应的概率（幅度的平方）和。
根据线性代数知识，我们知道，求一个矩阵的迹就等于将该矩阵所有的特征值带符号相加，因此，冯诺依曼熵还可以表示成如下：
可以发现，当∣Iφ>|I_{\varphi}>∣Iφ>是基态时，它的外积为单位矩阵。那么，ρ=∑pφ∗I\rho=\sum p_{\varphi}*Iρ=∑pφ∗I, 所以S(ρ)=−tr(ρlog2ρ)=−tr(∑(pφ∗I)∗log2∑(pφ∗I))=−∑λφ∗log2λφS(\rho)=-tr(\rho log_{2}\rho)=-tr(\sum (p_{\varphi}*I) *log_{2}\sum (p_{\varphi}*I))=-\sum \lambda_{\varphi}*log_{2} \lambda_{\varphi}S(ρ)=−tr(ρlog2ρ)=−tr(∑(pφ∗I)∗log2∑(pφ∗I))=−∑λφ∗log2λφ. 矩阵∑(pφ∗I)\sum (p_{\varphi}*I)∑(pφ∗I)的特征值就是pφp_{\varphi}pφ，所以S(ρ)=−∑pφ∗log2pφS(\rho)=-\sum p_{\varphi}*log_{2}p_{\varphi}S(ρ)=−∑pφ∗log2pφ。可以看到和香农熵格式一致。因此，在求量子信息混乱度时，当量子态为基准时（或者将某个量子态用基准来表示），是可以用香农熵代替冯诺依曼熵来进行计算的。但是推导的结果，只能说明两者都可以表示成概率的形式，但是不能证明计算值是一样的，即S(ρ)=−∑pφ∗log2pφS(\rho)=-\sum p_{\varphi}*log_{2}p_{\varphi}S(ρ)=−∑pφ∗log2pφ中的pφp_{\varphi}pφ不一定等于p(mi)p(m_{i})p(mi).
另外，可以看看这篇文章，感觉跟本人分析的是一样哒
若纯态组成的总体正交,之间互可区分可作=经典状态,冯诺依曼熵=概率的香农熵

香浓熵(Shannon)与冯诺伊曼熵(Von Neumann)相关推荐

计算机之父 - 冯.诺伊曼
冯·诺伊曼冯·诺伊曼,J．(von Neumann,John)1903年12月28日生于匈牙利布达佩斯:1957年2月8日卒于美国华盛顿．数学.物理学.计算机科学．冯·诺伊曼出生于犹太人家庭．父亲 ...
运筹说第22期 | 对偶理论及其提出者—约翰·冯·诺伊曼
本期小编首先介绍对偶理论发展简史和应用,然后详细阐述其提出者的的相关事迹! 经过前面的学习,相信大家已经对运筹学知识体系有了更加全面的了解,接下来小编将带你学习新一章的内容-对偶理论相关知识,先来看看 ...
机器学习基础（五十）—— Gini Impurity（基尼不纯度）与香浓熵（Shannon Entropy））
基尼不纯度/香浓熵:衡量集合的无序程度: 基尼不纯度基尼不纯度:将来自集合的某种结果随机应用于某一数据项的预期误差率. IG(f)=∑i=1mfi(1−fi)=∑i=1mfi−∑i=1mf2i=1− ...
使用香浓熵实现DNS Tunnel检测
最近抽了些时间研究了一下BIND(Linux DNS)日志,希望能通过DNS查询查询日志发现一些黑客入侵的蛛丝马迹. 黑客在入侵服务器之后,往往需要将目标系统中核心的信息资产传回,而传输往往会遇到防火 ...
平均符号熵的计算公式_交叉熵(Cross Entropy)从原理到代码解读
交叉熵(Cross Entropy)是Shannon(香浓)信息论中的一个概念,在深度学习领域中解决分类问题时常用它作为损失函数. 原理部分:要想搞懂交叉熵需要先清楚一些概念,顺序如下:==1.自信息 ...
信息量、熵、相对熵与交叉熵的理解
一.信息量信息奠基人香农(Shannon)认为"信息是用来消除随机不确定性的东西".也就是说衡量信息量大小就看这个信息消除不确定性的程度. "太阳从东方升起了" ...
java安装好了打不开机_劝告大家！早餐打豆浆，黄豆泡好直接打不对，教你1招，豆浆香浓更丝滑...
" 导语:打豆浆泡好直接打?难怪豆浆没有早餐店的好喝,教你正确做法适当吃豆制品对于大人小孩都有好处,豆浆作为其中的一种,更是我家早餐常会喝的,香浓顺滑的豆浆,搭配油条或者是饼,美好的早餐便 ...
NASA前掌门蛰伏10年打造非冯·诺伊曼架构芯片
据科技网站VentureBeat报道,以开发神经网络芯片为目标KnuEdge不能被简单地看作是一家创业公司,它于10年前由美国航空航天局前掌门丹尼尔·戈尔丁(Daniel Goldin)创办,现在才脱 ...
LESSON 10.110.210.3 SSE与二分类交叉熵损失函数二分类交叉熵损失函数的pytorch实现多分类交叉熵损失函数
在之前的课程中,我们已经完成了从0建立深层神经网络,并完成正向传播的全过程.本节课开始,我们将以分类深层神经网络为例,为大家展示神经网络的学习和训练过程.在介绍PyTorch的基本工具AutoGrad ...
kl距离 java_信息量、熵、最大熵、联合熵、条件熵、相对熵、互信息。
一直就对机器学习中各种XX熵的概念比较模糊,现在总结一下自己的学习心得. 信息量先说一下信息量的概念,其实熵就是信息量的集合. 摘抄个例子: 英文有26个字母,假设每个字母出现的概率是一样的,每个字 ...

香浓熵(Shannon)与冯诺伊曼熵(Von Neumann)

香浓熵(Shannon)与冯诺伊曼熵(Von Neumann)相关推荐

最新文章

热门文章