随机过程更新过程

更新过程的定义及若干分布

更新过程：Poisson 过程的 X i X_i Xi 服从参数为 λ \lambda λ 的指数分布。这里我们进行推广，保留 X i X_i Xi 的独立性同分布性，而允许任意分布，这样的过程称为更新过程。数学定义为：设 { X n , n = 1 , 2 , ⋯ } \{X_n,\,n=1,\,2,\,\cdots\} {Xn,n=1,2,⋯} 是一列独立同分布的非负随机变量，分布函数为 F ( x ) F(x) F(x) （为了避免平凡的情况，设 F ( 0 ) = P ( X n = n ) ≠ 1 F(0)=P(X_n=n)\not=1 F(0)=P(Xn=n)=1），记 μ = E ( X n ) = ∫ 0 ∞ x F ( x ) d x \mu=E(X_n)=\int_0^{\infty}xF(x)\,dx μ=E(Xn)=∫0∞xF(x)dx ，则 0 < μ ≤ ∞ 0<\mu\leq \infty 0<μ≤∞ ；令 T n = ∑ i = 1 n X i , n ≥ 1 , T 0 = 0 T_n=\sum\limits_{i=1}^nX_i,\,n\geq 1,\,T_0=0 Tn=i=1∑nXi,n≥1,T0=0 ，我们把由
N ( t ) = sup ⁡ { n : T n ≤ t } N(t)=\sup\{n:\,T_n\leq t\} N(t)=sup{n:Tn≤t}
定义的计数过程称为更新过程。

例：机器零件的更换，每个零件的寿命为 X i X_i Xi ，一个坏了就换另一个，那么到 t t t 时刻为止所更换的零件数目就构成一个更新过程。

N ( t ) N(t) N(t) 的分布及 E [ N ( t ) ] E[N(t)] E[N(t)] 的性质

问题：在有限时间 [ 0 , t ] [0,\,t] [0,t] 内是否会发生无穷多次更新，即 N ( t ) = ∞ N(t)=\infty N(t)=∞ ；答案是不会发生这种情况的概率为 1 1 1 。由强大数定律可知：
∑ i = 1 n X i n = T n n → μ \frac{\sum\limits_{i=1}^nX_i}{n}=\frac{T_n}{n}\to \mu ni=1∑nXi=nTn→μ
而 0 < μ ≤ ∞ 0<\mu\leq \infty 0<μ≤∞ ，所以当 n → ∞ n\to\infty n→∞ 时， T n → ∞ T_n\to\infty Tn→∞ ，也就是说无穷多次更新只可能在无限长的时间内发生，也就是以概率为 1 1 1 有 N ( t ) < ∞ N(t)\lt \infty N(t)<∞ .

N(t)的分布 ：注意到 N ( t ) ≥ n = T n ≤ t N(t)\geq n=T_n\leq t N(t)≥n=Tn≤t ，因此有：
P ( N ( t ) = n ) = P ( N ( t ) ≥ n ) − P ( N ( t ) ≥ n + 1 ) = P ( T n ≤ t ) − P ( T n + 1 ≤ t ) = P ( ∑ i = 1 n X i ≤ t ) − P ( ∑ i = 1 n + 1 X i ≤ t ) \begin{align} P(N(t)=n)=&\,P(N(t)\geq n)-P(N(t)\geq n+1) \\ =&\,P(T_n\leq t)-P(T_{n+1}\leq t) \\ =&\,P( \sum\limits_{i=1}^nX_i\leq t)-P( \sum\limits_{i=1}^{n+1}X_i\leq t) \end{align} P(N(t)=n)===P(N(t)≥n)−P(N(t)≥n+1)P(Tn≤t)−P(Tn+1≤t)P(i=1∑nXi≤t)−P(i=1∑n+1Xi≤t)
计 F n F_n Fn 为 T n T_n Tn 的分布，则 F n F_n Fn 是 F F F 的 n n n 重卷积，所以：
P ( N ( t ) = n ) = F n ( t ) − F n + 1 ( t ) P(N(t)=n)=F_n(t)-F_{n+1}(t) P(N(t)=n)=Fn(t)−Fn+1(t)
E[N(t)]的分布 ：记 M ( t ) = E [ N ( t ) ] M(t)=E[N(t)] M(t)=E[N(t)] ，称为更新函数。注意 M ( t ) M(t) M(t)是关于 t t t 的函数，而不是随机变量。由定义可知：
M ( t ) = ∑ i = 1 n n P ( N ( t ) = n ) = ∑ i = 1 n n ( F n ( t ) − F n + 1 ( t ) ) = ∑ i = 1 n F n ( t ) \begin{align} M(t)=&\,\sum\limits_{i=1}^n nP(N(t)=n) \\ =&\,\sum\limits_{i=1}^nn(F_n(t)-F_{n+1}(t)) \\ =&\,\sum\limits_{i=1}^n F_n(t) \end{align} M(t)===i=1∑nnP(N(t)=n)i=1∑nn(Fn(t)−Fn+1(t))i=1∑nFn(t)
Th ： M ( t ) M(t) M(t) 的是 t t t 的不减函数，且对 0 ≤ t < + ∞ 0\leq t\lt+\infty 0≤t<+∞ ， M ( t ) < + ∞ M(t)\lt +\infty M(t)<+∞ 。

证明：因为 N ( t ) N(t) N(t) 是关于 t t t 不减的，因此 M ( t ) M(t) M(t) 关于 t t t 也一定是不减的。
假设 F ( 0 ) < 1 F(0)<1 F(0)<1 ，即 P ( X n = 0 ) < 1 P(X_n=0)<1 P(Xn=0)<1 （或 P ( X n > 0 ) > 0 P(X_n\gt 0)\gt0 P(Xn>0)>0），则存在 a a a ，使得 P ( X n ≥ a ) > 0 P(X_n\ge a)>0 P(Xn≥a)>0 且 P ( X n < a ) < 1 P(X_n<a)<1 P(Xn<a)<1 。而
F ( a ) = P ( X n ≤ a ) = P ( X n = a ) + P ( X n < a ) F(a)=P(X_n\leq a)=P(X_n=a)+P(X_n<a) F(a)=P(Xn≤a)=P(Xn=a)+P(Xn<a)
为了避免 P ( X n ≥ a ) = P ( X n = a ) P(X_n\geq a)=P(X_n=a) P(Xn≥a)=P(Xn=a) 的情况，我们取 0 < b < a 0<b<a 0<b<a ，显然：
F ( b ) ≤ P ( X n < a ) < 1 F(b)\leq P(X_n<a)<1 F(b)≤P(Xn<a)<1
下面通过三个不等式来证明 M(t) 是有限的：

① 对于任意 t t t ，恒能找到正整数 k k k 使得 t ≤ b k t\leq bk t≤bk ，所以：
{ T k ≤ t } ⊆ { T k ≤ b k } ⊂ { X 1 > b , X 2 > b , ⋯ , X k > b } c \{T_k\leq t\}\subseteq\{T_k\leq bk\}\subset\{ X_1>b,\,X_2>b,\,\cdots,\, X_k>b\}^c {Tk≤t}⊆{Tk≤bk}⊂{X1>b,X2>b,⋯,Xk>b}c
记 β = ( 1 − F ( b ) ) k > 0 \beta=(1-F(b))^k>0 β=(1−F(b))k>0 ，有：
P ( T k ≤ t ) < 1 − ( 1 − P ( X i ≤ b ) ) k = 1 − ( 1 − F ( b ) ) k = 1 − β \begin{align} P(T_k\le t)\lt 1-(1-P(X_i\leq b))^k=1-(1-F(b))^k=1-\beta \end{align} P(Tk≤t)<1−(1−P(Xi≤b))k=1−(1−F(b))k=1−β
② 对于任意正整数 m m m ，有：（组间放缩）
{ T m k ≤ t } ⊂ { T k − T 0 ≤ t , T 2 k − T k ≤ t , ⋯ , T m k − T ( m − 1 ) k ≤ t } \{T_{mk}\leq t\}\subset \{T_k-T_0\leq t,\,T_{2k}-T_k\leq t,\,\cdots,\,T_{mk}-T_{(m-1)k}\le t \} {Tmk≤t}⊂{Tk−T0≤t,T2k−Tk≤t,⋯,Tmk−T(m−1)k≤t}
由更新区间的独立同分布（其实就是 X i X_i Xi 之间的相互独立同分布），有：
P ( T m k ≤ t ) < ( P ( T k ≤ t ) ) m < ( 1 − β ) m P(T_{mk}\leq t)< (P(T_k\leq t))^m<(1-\beta)^m P(Tmk≤t)<(P(Tk≤t))m<(1−β)m
③ 对任意正整数 j j j 有：（组内放缩）
{ T m k + j ≤ t } ⊂ { T m k ≤ t } \{ T_{mk+j}\leq t \}\subset \{T_{mk}\leq t\} {Tmk+j≤t}⊂{Tmk≤t}

即：
P ( T m k + j ≤ t ) < P ( T m k ≤ t ) P(T_{mk+j}\leq t)< P(T_{mk}\leq t) P(Tmk+j≤t)<P(Tmk≤t)
综上，有：（相当于把后边无穷多个元素分成 k k k 个一组，然后用 ② 和 ③ 进行放缩）
M ( t ) = ∑ n = 1 ∞ F n ( t ) = ∑ n = 1 ∞ P ( T n ≤ t ) = ∑ n = 1 k − 1 P ( T n ≤ t ) + ∑ n = k ∞ P ( T n ≤ t ) = ∑ n = 1 k − 1 P ( T n ≤ t ) + ∑ m = 1 ∞ ∑ j = 0 k − 1 P ( T m k + j ≤ t ) < ∑ n = 1 k − 1 P ( T n ≤ t ) + ∑ m = 1 ∞ k P ( T m k ≤ t ) < ∑ n = 1 k − 1 P ( T n ≤ t ) + ∑ m = 1 ∞ k ( 1 − β ) m = ∑ n = 1 k − 1 P ( T n ≤ t ) + k β < ∞ \begin{align} M(t)=&\,\sum\limits_{n=1}^{\infty}F_n(t) \\ =&\,\sum\limits_{n=1}^{\infty}P(T_n\leq t) \\ =&\,\sum\limits_{n=1}^{k-1}P(T_n\leq t)+\sum\limits_{n=k}^{\infty}P(T_n\leq t) \\ =&\,\sum\limits_{n=1}^{k-1}P(T_n\leq t)+\sum\limits_{m=1}^{\infty}\sum\limits_{j=0}^{k-1}P(T_{mk+j}\leq t) \\ <&\,\sum\limits_{n=1}^{k-1}P(T_n\leq t) + \sum\limits_{m=1}^{\infty}kP(T_{mk}\leq t) \\ <&\,\sum\limits_{n=1}^{k-1}P(T_n\leq t) + \sum\limits_{m=1}^{\infty}k(1-\beta)^{m} \\ =&\,\sum\limits_{n=1}^{k-1}P(T_n\leq t) + \frac{k}{\beta} < \infty \end{align} M(t)====<<=n=1∑∞Fn(t)n=1∑∞P(Tn≤t)n=1∑k−1P(Tn≤t)+n=k∑∞P(Tn≤t)n=1∑k−1P(Tn≤t)+m=1∑∞j=0∑k−1P(Tmk+j≤t)n=1∑k−1P(Tn≤t)+m=1∑∞kP(Tmk≤t)n=1∑k−1P(Tn≤t)+m=1∑∞k(1−β)mn=1∑k−1P(Tn≤t)+βk<∞
因此对于任意有限的 t t t ， M ( t ) M(t) M(t) 也是有限的。

例：考虑一个时间离散的更新过程 { N j , j = 1 , 2 , ⋯ , } \{N_j,\,j=1,\,2,\,\cdots,\,\} {Nj,j=1,2,⋯,}，在每个时刻独立进行 Bernoulli 试验，成功的概率为 p p p ，失败的概率为 q = 1 − p q=1-p q=1−p 。以试验成功作为事件（更新），求该更新过程的更新函数。

解：更新的时间间隔满足几何分布，即：
P ( X i = n ) = q n − 1 p P(X_i=n)=q^{n-1}p P(Xi=n)=qn−1p
则第 r r r 次成功（更新）的时刻 T r T_r Tr 服从 Pascal 分布（负二项分布），有：
P ( T r = n ) = C n − 1 r − 1 q n − r p r n = r , r + 1 , ⋯ P(T_r=n)=C_{n-1}^{r-1}q^{n-r}p^r \quad\, n=r,\,r+1,\,\cdots P(Tr=n)=Cn−1r−1qn−rprn=r,r+1,⋯
因此，有：
P ( N ( m ) = r ) = P ( T r ≤ m ) − P ( T r + 1 ≤ m ) = ∑ n = r m C n − 1 r − 1 q n − r p r − ∑ n = r + 1 m C n − 1 r q n − r − 1 p r + 1 \begin{align} &\,P(N(m)=r) \\ =&\,P(T_r\leq m)-P(T_{r+1}\leq m) \\ =&\,\sum\limits_{n=r}^mC_{n-1}^{r-1}q^{n-r}p^r-\sum\limits_{n=r+1}^mC_{n-1}^{r}q^{n-r-1}p^{r+1} \end{align} ==P(N(m)=r)P(Tr≤m)−P(Tr+1≤m)n=r∑mCn−1r−1qn−rpr−n=r+1∑mCn−1rqn−r−1pr+1
所以更新函数为：
M ( t ) = E [ N ( t ) ] = ∑ r = 1 t r P ( N ( t ) = r ) M(t)=E[N(t)]=\sum\limits_{r=1}^{t} rP(N(t)=r) M(t)=E[N(t)]=r=1∑trP(N(t)=r)
（这里求和 r r r 只需要到 t t t ，因为是离散化的时间， t t t 时间内最多更新 t t t 次）

更新方程及其应用

更新方程

更新密度：更新函数的导出存在时，称其导数为更新密度，记为 m ( t ) m(t) m(t) 。由 M ( k ) = ∑ n = 1 ∞ F n ( t ) M(k)=\sum\limits_{n=1}^{\infty}F_n(t) M(k)=n=1∑∞Fn(t) 得：
m ( t ) = ∑ n = 1 ∞ f n ( t ) m(t)=\sum\limits_{n=1}^{\infty}f_n(t) m(t)=n=1∑∞fn(t)
Th：更新函数和更新密度分别满足以下积分方程：
M ( t ) = F ( t ) + ∫ 0 t M ( t − s ) d F ( s ) m ( t ) = f ( t ) + ∫ 0 t m ( t − s ) f ( s ) d s \begin{array}{c} M(t)=F(t)+\int_{0}^{t}M(t-s)\,dF(s) \\ m(t)=f(t)+\int_{0}^{t}m(t-s)f(s)\,ds \end{array} M(t)=F(t)+∫0tM(t−s)dF(s)m(t)=f(t)+∫0tm(t−s)f(s)ds
证明：由定义得，以 ∗ * ∗ 代表卷积操作：
M ( t ) = ∑ n = 1 ∞ F i ( t ) = F ( t ) + ∑ n = 2 ∞ F n ( t ) = F ( t ) + ∑ n = 2 ∞ F n − 1 ( t ) ∗ F ( t ) = F ( t ) + ( ∑ n = 1 ∞ F n ( t ) ) ∗ F ( t ) = F ( t ) + M ∗ F ( t ) \begin{align} M(t)=&\,\sum\limits_{n=1}^{\infty}F_i(t)=F(t)+\sum\limits_{n=2}^{\infty}F_n(t) \\ =&\,F(t)+\sum\limits_{n=2}^{\infty}F_{n-1}(t)*F(t) \\ =&\,F(t)+(\sum\limits_{n=1}^\infty F_n(t))*F(t) \\ =&\,F(t)+M*F(t) \end{align} M(t)====n=1∑∞Fi(t)=F(t)+n=2∑∞Fn(t)F(t)+n=2∑∞Fn−1(t)∗F(t)F(t)+(n=1∑∞Fn(t))∗F(t)F(t)+M∗F(t)
有 M ∗ F ( t ) = ∫ 0 t M ( t − s ) d F ( s ) M*F(t)=\int_{0}^{t}M(t-s)\,dF(s) M∗F(t)=∫0tM(t−s)dF(s) ，因此得到上边的方程。第二个方程由第一个方程求导得到。

更新方程：具有以下形式的积分方程称为更新方程：
K ( t ) = H ( t ) + ∫ 0 t K ( t − s ) d F ( s ) K(t)=H(t)+\int_0^tK(t-s)dF(s) K(t)=H(t)+∫0tK(t−s)dF(s)
式中， H ( t ) H(t) H(t) 和 F ( t ) F(t) F(t) 已知，且当 t < 0 t<0 t<0 时，有 H ( t ) = F ( t ) = 0 H(t)=F(t)=0 H(t)=F(t)=0 。当 H ( t ) H(t) H(t) 在任意区间内均有界时，称为适定更新方程，简称为更新方程。

卷积的性质：设 B ( t ) B(t) B(t) 是单调递增的右连续函数且 B ( 0 ) = 0 B(0)=0 B(0)=0（比如分布函数）； C ( t ) C(t) C(t) ， C 1 ( t ) C_1(t) C1(t) ， C 2 ( t ) C_2(t) C2(t) 为光滑有界函数（这些条件保证了卷积有定义），则有：

max ⁡ 0 ≤ t ≤ T ∣ B ∗ C ( t ) ∣ ≤ B ( t ) ⋅ max ⁡ 0 ≤ t ≤ T ∣ C ( t ) ∣ \max\limits_{0\leq t \leq T}|B*C(t)|\leq B(t)\cdot \max\limits_{0\leq t\leq T}|C(t)| 0≤t≤Tmax∣B∗C(t)∣≤B(t)⋅0≤t≤Tmax∣C(t)∣ ；
B ∗ C 1 ( t ) + B ∗ C 2 ( t ) = B ∗ ( C 1 + C 2 ) ( t ) B*C_1(t)+B*C_2(t)=B*(C_1+C_2)(t) B∗C1(t)+B∗C2(t)=B∗(C1+C2)(t) ；（分配律）
B 1 ∗ ( B 2 ∗ C ) ( t ) = ( B 1 ∗ B 2 ) C ( t ) B_1*(B_2*C)(t)=(B_1*B_2)C(t) B1∗(B2∗C)(t)=(B1∗B2)C(t) ；（结合律）

Th：设更新方程中 H ( t ) H(t) H(t) 为有界函数，则方程存在唯一的在有限区间内有界的解：
K ( t ) = H ( t ) + ∫ 0 t H ( t − s ) d M ( s ) K(t)=H(t)+\int_0^tH(t-s)dM(s) K(t)=H(t)+∫0tH(t−s)dM(s)
式中 M ( t ) = ∑ n = 1 ∞ F n ( t ) M(t)=\sum\limits_{n=1}^\infty F_n(t) M(t)=n=1∑∞Fn(t) ，为 F ( t ) F(t) F(t) 的更新函数。

证明：

① 证明该解是有界的：由前边的定理可知，更新函数 M ( t ) M(t) M(t) 有界不减，所以 ∀ T > 0 \forall T\gt 0 ∀T>0 ，有：（最后一步是因为 M ( t ) M(t) M(t) 和 H ( t ) H(t) H(t) 都是有界的）
sup ⁡ 0 ≤ t ≤ T ∣ K ( t ) ∣ ≤ sup ⁡ 0 ≤ t ≤ T ∣ H ( t ) ∣ + ∫ 0 T sup ⁡ 0 ≤ s ≤ T ∣ H ( T − s ) ∣ d M ( s ) ≤ ( 1 + M ( T ) ) sup ⁡ 0 ≤ t ≤ T ∣ H ( t ) ∣ < ∞ \sup\limits_{0\leq t\leq T}|K(t)|\leq \sup\limits_{0\leq t \leq T}|H(t)|+\int_{0}^T\sup\limits_{0\leq s \leq T}|H(T-s)|dM(s)\leq (1+M(T))\sup\limits_{0\leq t \leq T}|H(t)|\lt\infty 0≤t≤Tsup∣K(t)∣≤0≤t≤Tsup∣H(t)∣+∫0T0≤s≤Tsup∣H(T−s)∣dM(s)≤(1+M(T))0≤t≤Tsup∣H(t)∣<∞
所以在有界区间上 K ( t ) K(t) K(t) 是有界的。

② 证明该解确实是更新方程的解：该解满足更新方程
K ( t ) = H ( t ) + M ∗ H ( t ) = H ( t ) + ( ∑ n = 1 ∞ F n ) ∗ H ( t ) = H ( t ) + F ∗ H ( t ) + ( ∑ n = 2 ∞ F n ) ∗ H ( t ) = H ( t ) + F ∗ H ( t ) + ( ∑ n = 2 ∞ ( F n − 1 ∗ F ) ) ∗ H ( t ) = H ( t ) + F ∗ [ H ( t ) + ( ∑ n − 1 ∞ F n ) ∗ H ( t ) ] = H ( t ) + F ∗ K ( t ) = H ( t ) + ∫ 0 t K ( t − s ) d F ( s ) \begin{align} K(t)=&\,H(t)+M*H(t) \\ =&\,H(t)+(\sum\limits_{n=1}^{\infty}F_n)*H(t) \\ =&\,H(t)+F*H(t)+(\sum\limits_{n=2}^{\infty}F_n)*H(t) \\ =&\,H(t)+F*H(t)+\left(\sum\limits_{n=2}^{\infty}(F_{n-1}*F)\right)*H(t) \\ =&\,H(t)+F*[H(t)+(\sum\limits_{n-1}^{\infty}F_n)*H(t)] \\ =&\,H(t)+F*K(t) \\ =&\,H(t)+\int_0^tK(t-s)dF(s) \end{align} K(t)=======H(t)+M∗H(t)H(t)+(n=1∑∞Fn)∗H(t)H(t)+F∗H(t)+(n=2∑∞Fn)∗H(t)H(t)+F∗H(t)+(n=2∑∞(Fn−1∗F))∗H(t)H(t)+F∗[H(t)+(n−1∑∞Fn)∗H(t)]H(t)+F∗K(t)H(t)+∫0tK(t−s)dF(s)
yes！

③ 证明该解的唯一性：设有另外一解 K ~ \tilde{K} K~ 是更新方程的解，并且满足有界性条件，则其满足：
K ~ ( t ) = H ( t ) + F ∗ K ~ ( t ) \tilde{K}(t)=H(t)+F*\tilde{K}(t) K~(t)=H(t)+F∗K~(t)
连续代换 K ~ ( t ) \tilde{K}(t) K~(t) ，有：（有点像是递归表达式求解通项时不断展开的意思）
K ~ ( t ) = H ( t ) + F ∗ ( H + F ∗ K ~ ) ( t ) = H ( t ) + F ∗ H ( t ) + F 2 ∗ K ~ ( t ) = H ( t ) + F ∗ H ( t ) + F 2 ∗ ( H + F ∗ K ~ ) = ⋯ = H ( t ) + ( ∑ i = 1 n F i ) ∗ H ( t ) + F n ∗ K ~ ( t ) \begin{align} \tilde{K}(t)=&\,H(t)+F*(H+F*\tilde{K})(t) \\ =&\,H(t)+F*H(t)+F_2*\tilde{K}(t) \\ =&\,H(t)+F*H(t)+F_2*(H+F*\tilde{K}) \\ =&\,\cdots \\ =&\,H(t)+(\sum\limits_{i=1}^n F_i)*H(t)+F_n*\tilde{K}(t) \end{align} K~(t)=====H(t)+F∗(H+F∗K~)(t)H(t)+F∗H(t)+F2∗K~(t)H(t)+F∗H(t)+F2∗(H+F∗K~)⋯H(t)+(i=1∑nFi)∗H(t)+Fn∗K~(t)
对任何 t t t ，有：
∣ F n ∗ K ~ ∣ = ∣ ∫ 0 t K ~ ( t − x ) d F n ( x ) ∣ ≤ sup ⁡ 0 ≤ x ≤ t ∣ K ~ ( t − x ) ∣ ⋅ F n ( t ) |F_n*\tilde{K}|=\left|\int_{0}^t\tilde{K}(t-x)dF_n(x)\right|\leq \sup\limits_{0\leq x\leq t}|\tilde{K}(t-x)|\cdot F_n(t) ∣Fn∗K~∣= ∫0tK~(t−x)dFn(x) ≤0≤x≤tsup∣K~(t−x)∣⋅Fn(t)
我们本来假定 K ~ ( t ) \tilde{K}(t) K~(t) 是有界的，而且更新函数 M ( t ) = ∑ n = 1 ∞ F n ( t ) M(t)=\sum\limits_{n=1}^{\infty}F_n(t) M(t)=n=1∑∞Fn(t) 之前证明过就是有界的，那么有 lim ⁡ n → ∞ F n ( t ) = 0 \lim\limits_{n\to\infty}F_n(t)=0 n→∞limFn(t)=0 ，因此：
K ~ ( t ) = H ( t ) + lim ⁡ n → ∞ [ ∑ k = 1 n − 1 F k ∗ H ( t ) + F n ∗ K ~ ( t ) ] = H ( t ) + M ∗ H ( t ) \tilde{K}(t)=H(t)+\lim\limits_{n\to\infty}\left[ \sum\limits_{k=1}^{n-1}F_k*H(t)+F_n*\tilde{K}(t) \right]=H(t)+M*H(t) K~(t)=H(t)+n→∞lim[k=1∑n−1Fk∗H(t)+Fn∗K~(t)]=H(t)+M∗H(t)
与 K ( t ) K(t) K(t) 是一样的

更新方程的应用

例：（Wald 等式）若 X 1 X_1 X1 ， X 2 X_2 X2 ， ⋯ \cdots ⋯ 是独立同分布的随机变量，设 E ( x i ) < ∞ E(x_i)\lt \infty E(xi)<∞ ，证明：
E ( T N ( t ) + 1 ) = E ( X 1 + X 2 + ⋯ + X N ( t ) + 1 ) = E ( X 1 ) E ( N ( t ) + 1 ) E(T_{N(t)+1})=E(X_1+X_2+\cdots+X_{N(t)+1})=E(X_1)E(N(t)+1) E(TN(t)+1)=E(X1+X2+⋯+XN(t)+1)=E(X1)E(N(t)+1)
解：对于第一次更新的时刻 X 1 X_1 X1 ，取条件：
E [ T N ( t ) + 1 ∣ X 1 = x ] = { x x > t x + E [ T N ( t − x ) + 1 ] x ≤ t E[T_{N(t)+1}|X_1=x]=\left\{ \begin{array}{ll} x & x\gt t \\ x+E[T_{N(t-x)+1}] & x\leq t \end{array} \right. E[TN(t)+1∣X1=x]={xx+E[TN(t−x)+1]x>tx≤t
可以理解为，如果 x > t x>t x>t ，那么说明第一次更新发生在 t t t 时刻之后，因此 t t t 时刻及以前更新次数为 0 0 0 （ N ( t ) = 0 N(t)=0 N(t)=0 ），所以此时 T N ( t ) + 1 = x T_{N(t)+1}=x TN(t)+1=x ；如果 x ≤ t x\leq t x≤t ，那么由于独立增量，可以将第一次更新的时间看作开始的时间，之后的时间的期望就是 E [ T N ( t − x ) + 1 ] E[T_{N(t-x)+1}] E[TN(t−x)+1] ；

记 K ( t ) = E [ T N ( t ) + 1 ] K(t)=E[T_{N(t)+1}] K(t)=E[TN(t)+1] ， F ( x ) F(x) F(x) 是 x x x 的分布函数，则：
K ( t ) = E [ T N ( t ) + 1 ] = E [ E ( T N ( t ) + 1 ) ∣ X 1 ] = ∫ 0 ∞ E [ T N ( t ) + 1 ∣ X 1 = x ] d F ( x ) = ∫ t ∞ x d F ( x ) + ∫ 0 t [ x + E [ T N ( t − x ) + 1 ] ] d F ( x ) = ∫ 0 ∞ x d F ( x ) + ∫ 0 t E [ T N ( t − x ) + 1 ] d F ( x ) = E ( X 1 ) + ∫ 0 t K ( t − x ) d F ( x ) \begin{align} K(t)=&\,E[T_{N(t)+1}]=E[E(T_{N(t)+1})|X_1] \\ =&\,\int_{0}^{\infty}E[T_{N(t)+1}|X_1=x]\,dF(x) \\ =&\,\int_{t}^{\infty}x\,dF(x)+\int_{0}^{t}[x+E[T_{N(t-x)+1}]]\,dF(x) \\ =&\,\int_{0}^{\infty}x\,dF(x)+\int_{0}^{t}E[T_{N(t-x)+1}]\,dF(x) \\ =&\,E(X_1)+\int_{0}^{t}K(t-x)\,dF(x) \\ \end{align} K(t)=====E[TN(t)+1]=E[E(TN(t)+1)∣X1]∫0∞E[TN(t)+1∣X1=x]dF(x)∫t∞xdF(x)+∫0t[x+E[TN(t−x)+1]]dF(x)∫0∞xdF(x)+∫0tE[TN(t−x)+1]dF(x)E(X1)+∫0tK(t−x)dF(x)
根据更新方程及其解的形式可以知道：（注意 E ( X 1 ) E(X_1) E(X1) 是一个值，而不是函数）
K ( t ) = E ( X 1 ) + ∫ 0 t E ( X 1 ) d M ( x ) = E ( X 1 ) [ 1 + M ( t ) ] = E ( X 1 ) [ E ( N ( t ) ) + 1 ] = E ( X 1 ) E [ N ( t ) + 1 ] \begin{align} K(t)=&\,E(X_1)+\int_{0}^{t}E(X_1)dM(x)=E(X_1)[1+M(t)]=E(X_1)[E(N(t))+1]=E(X_1)E[N(t)+1] \end{align} K(t)=E(X1)+∫0tE(X1)dM(x)=E(X1)[1+M(t)]=E(X1)[E(N(t))+1]=E(X1)E[N(t)+1]
事实上我们不用更新方程也可以直接证明：
E [ T N ( t ) + 1 ] = ∑ k = 0 ∞ P ( N ( t ) = k ) [ ∑ i = 1 k + 1 ∫ 0 ∞ x i d F ( x i ) ] = ∑ k = 0 ∞ P ( N ( t ) = k ) ( k + 1 ) E ( X 1 ) = E ( X 1 ) [ ∑ k = 0 ∞ k ⋅ P ( N ( t ) = k ) + ∑ k = 0 ∞ P ( N ( t ) = k ) ] = E ( X 1 ) [ E ( N ( t ) ) + 1 ] = E ( X 1 ) E [ N ( t ) + 1 ] \begin{align} E[T_{N(t)+1}]=&\,\sum\limits_{k=0}^{\infty}P(N(t)=k)\left[ \sum\limits_{i=1}^{k+1}\int_{0}^{\infty}x_idF(x_i) \right] \\ =&\,\sum\limits_{k=0}^{\infty}P(N(t)=k)(k+1)E(X_1) \\ =&\,E(X_1)[\sum\limits_{k=0}^{\infty}k\cdot P(N(t)=k)+\sum\limits_{k=0}^{\infty}P(N(t)=k)] \\ =&\,E(X_1)[E(N(t))+1]=E(X_1)E[N(t)+1] \end{align} E[TN(t)+1]====k=0∑∞P(N(t)=k)[i=1∑k+1∫0∞xidF(xi)]k=0∑∞P(N(t)=k)(k+1)E(X1)E(X1)[k=0∑∞k⋅P(N(t)=k)+k=0∑∞P(N(t)=k)]E(X1)[E(N(t))+1]=E(X1)E[N(t)+1]
例：（人口学中的应用）考虑一个确定性的人口模型：

B ( t ) B(t) B(t) 表示在时刻 t t t 女婴的出生率，即在时间 [ t , t + d t ] [t,\,t+dt] [t,t+dt] 内有 B ( t ) d t B(t)dt B(t)dt 个女婴出生；
S ( x ) S(x) S(x) 为生存函数，代表一个新生女婴能够活到年龄 x x x 的概率；
β ( x ) \beta(x) β(x) 为生育的年龄强度，即在年龄 [ x , x + d x ] [x,\,x+dx] [x,x+dx] 时生下 β ( x ) d x \beta(x)dx β(x)dx 个女婴

我们已知过去的 B ( t ) B(t) B(t) ( t ≤ 0 ) (t\le 0) (t≤0) ，要预测未来的 B ( t ) B(t) B(t)（ t > 0 t\gt 0 t>0）。在时刻 t t t ，有 B ( t − x ) S ( x ) d x B(t-x)S(x)dx B(t−x)S(x)dx 个女性居民的年龄在 x x x 和 x + d x x+dx x+dx 之间；在此时刻，单位时间内该群体将生育 B ( t − x ) S ( x ) β ( x ) B(t-x)S(x)\beta(x) B(t−x)S(x)β(x) 个女婴。由此可得每单位之间内由所有育龄段的女性所生育的女婴数应为：
B ( t ) = ∫ 0 ∞ B ( t − x ) S ( x ) β ( x ) d x B(t)=\int_{0}^{\infty}B(t-x)S(x)\beta(x)\,dx B(t)=∫0∞B(t−x)S(x)β(x)dx
根据过去和未来的生育情况，将上述积分分成两段：
B ( t ) = ∫ t ∞ B ( t − x ) S ( x ) β ( x ) d x + ∫ 0 t B ( t − x ) S ( x ) β ( x ) d x B(t)=\int_{t}^{\infty}B(t-x)S(x)\beta(x)\,dx+\int_{0}^{t}B(t-x)S(x)\beta(x)\,dx B(t)=∫t∞B(t−x)S(x)β(x)dx+∫0tB(t−x)S(x)β(x)dx
这是一个更新方程，其中 f ( x ) = S ( x ) β ( x ) f(x)=S(x)\beta(x) f(x)=S(x)β(x) ， H ( x ) = ∫ t ∞ B ( t − x ) S ( x ) β ( x ) d x H(x)=\int_{t}^{\infty}B(t-x)S(x)\beta(x)\,dx H(x)=∫t∞B(t−x)S(x)β(x)dx

做变量替换 x = y + t x=y+t x=y+t ，得：
H ( t ) = ∫ 0 ∞ B ( − y ) S ( y + t ) β ( y + t ) d y H(t)=\int_{0}^{\infty}B(-y)S(y+t)\beta(y+t)\,dy H(t)=∫0∞B(−y)S(y+t)β(y+t)dy
H ( t ) H(t) H(t) 是由年龄为 t t t 或更大的女性在单位时间 [ t , t + d t ] [t,\,t+dt] [t,t+dt] 内生育的女婴数；此外，每一个新生的女婴将在期待年龄 [ x , x + d x ] [x,\,x+dx] [x,x+dx] 内生育 f ( x ) d x f(x)\,dx f(x)dx 个女婴。于是，每一个新生的女婴在死亡或生存到年龄 x x x 之前将期待生育 F ( x ) = ∫ 0 x f ( x ) d x F(x)=\int_{0}^{x}f(x)\,dx F(x)=∫0xf(x)dx 个女婴，从而她一生将期待生育 F ( ∞ ) F(\infty) F(∞) 个女婴。

若 F ( ∞ ) > 1 F(\infty)>1 F(∞)>1 ，则 B ( t ) ∼ C e − R t B(t)\sim Ce^{-Rt} B(t)∼Ce−Rt （ t → ∞ t\to \infty t→∞）（我解不出来。。。），其中 C C C 为常数， R R R 满足方程：
∫ 0 ∞ e R y S ( y ) β ( y ) d y = 1 \int_{0}^{\infty}e^{Ry}S(y)\beta(y)\,dy=1 ∫0∞eRyS(y)β(y)dy=1
即出生率（以及具有此速率的人群）将以渐进指数增长。

若 F ( ∞ ) < 1 F(\infty)<1 F(∞)<1 ， k > 0 k>0 k>0 ， B ( t ) B(t) B(t) 渐进指数地趋于 0，也就是说人群最终要消亡；只有当 F ( ∞ ) = 1 F(\infty)=1 F(∞)=1 时，出生率最终将趋于一个有限的正数。