Stein引理（Stein's lemma）

Stein引理：假设 X X X是均值为 μ \mu μ，方差 σ 2 \sigma^2 σ2的高斯随机变量（Gaussian random variable）。进一步假设映射 g g g存在期望 E [ g ( X ) ( X − μ ) ] \mathbb{E}[g(X)(X-\mu)] E[g(X)(X−μ)]和 E [ g ′ ( X ) ] \mathbb{E}[g'(X)] E[g′(X)]，则有
E [ g ( X ) ( X − μ ) ] = σ 2 E [ g ′ ( X ) ] \mathbb{E}[g(X)(X-\mu)]=\sigma^2\mathbb{E}[g'(X)] E[g(X)(X−μ)]=σ2E[g′(X)]一般说，假设 X X X和 Y Y Y是联合高斯的，则
Cov ( g ( X ) , Y ) = Cov ( X , Y ) E ( g ′ ( X ) ) \text{Cov}(g(X),Y)=\text{Cov}(X,Y)\mathbb{E}(g'(X)) Cov(g(X),Y)=Cov(X,Y)E(g′(X))
证：
E [ g ′ ( X ) ] = ∫ − ∞ + ∞ ∂ g ( x ) ∂ x N ( x ∣ μ , σ 2 ) d x = ( a ) [ g ( x ) N ( x ∣ μ , σ 2 ) ] ∣ − ∞ + ∞ − ∫ − ∞ + ∞ g ( x ) ∂ N ( x ∣ μ , σ 2 ) ∂ x d x = ∫ − ∞ + ∞ ( x − μ ) σ 2 g ( x ) N ( x ∣ μ , σ 2 ) d x = 1 σ 2 E [ g ( X ) ( X − μ ) ] \mathbb{E}[g'(X)]=\int_{-\infty}^{+\infty} \frac{\partial g(x)}{\partial x} \mathcal{N}(x|\mu,\sigma^2)\text{d}x\\ \qquad \qquad \qquad \qquad \qquad \qquad \qquad \ \ \overset{(a)}{=}\left.{\left[{g(x)\mathcal{N}(x|\mu,\sigma^2)}\right]}\right|_{-\infty}^{+\infty}-\int_{-\infty}^{+\infty}g(x)\frac{\partial \mathcal{N}(x|\mu,\sigma^2)}{\partial x}\text{d}x\\ \qquad \qquad \qquad \ \ \ =\int_{-\infty}^{+\infty}\frac{(x-\mu)}{\sigma^2}g(x)\mathcal{N}(x|\mu,\sigma^2)\text{d}x\\ \quad =\frac{1}{\sigma^2}\mathbb{E}[g(X)(X-\mu)] E[g′(X)]=∫−∞+∞∂x∂g(x)N(x∣μ,σ2)dx =(a)[g(x)N(x∣μ,σ2)]∣∣−∞+∞−∫−∞+∞g(x)∂x∂N(x∣μ,σ2)dx =∫−∞+∞σ2(x−μ)g(x)N(x∣μ,σ2)dx=σ21E[g(X)(X−μ)]其中，步骤 ( a ) (a) (a)成立根据分部积分公式 ∫ u ( x ) v ′ ( x ) d x = u ( x ) v ( x ) ∣ x = − ∞ + ∞ − ∫ u ′ ( x ) v ( x ) d x \int u(x)v'(x)\text{d}x=u(x)v(x)|_{x=-\infty}^{+\infty}-\int u'(x)v(x)\text{d}x ∫u(x)v′(x)dx=u(x)v(x)∣x=−∞+∞−∫u′(x)v(x)dx。

Stein引理（Stein's lemma）相关推荐

矩阵行列式引理 Matrix Determinant Lemma
在看论文时有用到矩阵行列式引理,搜了一下感觉很有趣,记录在这里. wiki:https://en.wikipedia.org/wiki/Matrix_determinant_lemma 数学描述:AA ...
PaperNotes(8)-Stein Variational Gradient Descent A General Purpose Bayesian Inference Algorithm
通用贝叶斯推理算法-Stein Variational Gradient Descent Abstract 1 Introduction 2 Background 3 Variational Infe ...
格密码学重要概念: 分叉引理Forking lemma
简介:开始是用来证明盲签名的不可伪造性,后面被用来证明通用签名的不可伪造性. 1 为什么使用分叉引理? 证明数字签名方案的安全性常用的一种模型是随机预言模型ROM.在随机预言模型中,数字签名方案使用的 ...
模逆（5.Stein算法）
一.Stein算法 Stein算法是一种计算两个数最大公约数的算法,是针对欧几里德算法在对大整数进行运算时,需要试商导致增加运算时间的缺陷而提出的改进算法. 1.1 Stein算法 Stein算法是基 ...
求最大公约数和最小公倍数——辗转相除法（欧几里得算法）、更相减损术、stein算法
辗转相除法-- 辗转相除法求最大公约数的原理: 两个整数其中较小的数和两数相除(较大数除较小数)的余数(使用递归)的最大公约数. 辗转相除法求最小公倍数的原理: 两个整数分别除以最大公约数的结果相 ...
使用devstack在单机上安装openstack(stein版本)和zun的踩坑之路
需求公司已有环境是openstack分布式版本,调试有些麻烦,因此想在单机上安装openstack,即devstack,并安装组件zun及zun-ui,以便对zun组件进行调试开发环境版本 ope ...
IndProp章节中pumping lemma的证明
在software foundations–Logic foudations–IndProp中,有一个证明pumping lemma的练习,本文介绍了一种证明方法. 辅助引理为了证明pumping ...
蓝桥杯结果填空正六面体染色 Burnside引理
正六面体用4种颜色染色. 共有多少种不同的染色样式? 要考虑六面体可以任意旋转.翻转. 参考答案: 240 可以想象,这道题如果编程的话,代码不会很少,关键是也没啥思路,其实组合数学早就给我们提供了数 ...
二阶齐次线性微分方程的通解可以表示成两个线性无关解的线性组合
tex源代码如下: 1 \documentclass[a4paper, 12pt]{article} 2 \usepackage{amsmath,amsfonts,bm} 3 \usepackage{ ...

Stein引理（Stein's lemma）

Stein引理（Stein's lemma）相关推荐

最新文章

热门文章