文章目录

随机过程更新过程（下）
- 更新定理
- - Feller 初等更新定理
  - Blackwell 更新定理
  - 关键更新定理
  - 更新定理的应用
- 更新过程的推广
- - 延迟更新过程
  - 更新回报过程
  - 交替更新过程

随机过程更新过程（下）

更新定理

Feller 初等更新定理

在 Poisson 过程中，我们有 M ( t ) = E [ N ( t ) ] = λ t M(t)=E[N(t)]=\lambda t M(t)=E[N(t)]=λt ，因此：
M ( t ) t = λ = 1 E ( X i ) \frac{M(t)}{t}=\lambda=\frac{1}{E(X_i)} tM(t)=λ=E(Xi)1
当 t → ∞ t\to\infty t→∞ 时，一般的更新过程也有该性质。

Feller 初等更新定理：记 μ = E ( X i ) \mu=E(X_i) μ=E(Xi) ，则：（若 μ = ∞ \mu=\infty μ=∞ ，则 1 μ = 0 \frac{1}{\mu}=0 μ1=0）
M ( t ) t → 1 μ \frac{M(t)}{t}\to \frac{1}{\mu} tM(t)→μ1
证明：首先假设 μ < ∞ \mu<\infty μ<∞ ，我们证明 lim inf ⁡ t → ∞ M ( t ) t ≥ 1 μ \liminf\limits_{t\to\infty}\frac{M(t)}{t}\geq\frac{1}{\mu} t→∞liminftM(t)≥μ1 和 lim sup ⁡ t → ∞ M ( t ) t ≤ 1 μ \limsup\limits_{t\to\infty}\frac{M(t)}{t}\leq\frac{1}{\mu} t→∞limsuptM(t)≤μ1 同时成立

① 由于：（就是说第 t t t 时刻已经更新了 N ( t ) N(t) N(t) 次，那么要更新 N ( t ) + 1 N(t)+1 N(t)+1 次所需要的时间肯定比 t t t 要大）
T N ( t ) + 1 > t T_{N(t)+1}>t TN(t)+1>t
两边取期望，使用 Wald 等式：
E ( T N ( t ) + 1 ) = E ( X i ) E [ N ( t ) + 1 ] = μ [ M ( t ) + 1 ] > t E(T_{N(t)+1})=E(X_i)E[N(t)+1]=\mu[M(t)+1]\gt t E(TN(t)+1)=E(Xi)E[N(t)+1]=μ[M(t)+1]>t
即：
M ( t ) t > 1 μ − 1 t \frac{M(t)}{t}\gt \frac{1}{\mu}-\frac{1}{t} tM(t)>μ1−t1
两边取极限得到：
lim inf ⁡ t → ∞ M ( t ) t ≥ 1 μ \liminf\limits_{t\to \infty}\frac{M(t)}{t}\geq \frac{1}{\mu} t→∞liminftM(t)≥μ1
② 固定常数 M M M ，构造一个新的随机变量：
X n c = { X n X n ≤ M M X n > M X_n^c=\left\{ \begin{array}{ll} X_n & X_n \le M \\ M & X_n \gt M \end{array} \right. Xnc={XnMXn≤MXn>M
以 { X i c } \{X_i^c\} {Xic} 确定一个新的更新过程，令：
T n c = ∑ i = 1 n X n c N ( t ) c = sup ⁡ { n : T n c ≤ t } \begin{array}{c} T_n^c=\sum\limits_{i=1}^{n}X_n^c \\ N(t)^c=\sup\{n:\, T_n^c \leq t \} \end{array} Tnc=i=1∑nXncN(t)c=sup{n:Tnc≤t}
由于 X n c ≤ M X_n^c\leq M Xnc≤M ，所有：
T N ( t ) c + 1 c = T N ( t ) c c + X N ( t ) c + 1 c ≤ t + M T^c_{N(t)^c+1}=T_{N(t)^c}^c+X_{N(t)^c+1}^c\leq t+M TN(t)c+1c=TN(t)cc+XN(t)c+1c≤t+M
使用和上边一样的技巧，两边取期望，使用 Wald 等式：
μ M [ M ( t ) c + 1 ] ≤ t + M ⇒ M ( t ) c t + M ≤ 1 μ M − 1 t + M \mu_M[M(t)^c+1]\leq t+M \,\Rightarrow\, \frac{M(t)^c}{t+M}\leq \frac{1}{\mu_M}-\frac{1}{t+M} μM[M(t)c+1]≤t+M⇒t+MM(t)c≤μM1−t+M1
两边取极限，得到：
lim sup ⁡ t → ∞ M ( t ) c t ≤ 1 μ M \limsup\limits_{t\to\infty}\frac{M(t)^c}{t}\leq \frac{1}{\mu_M} t→∞limsuptM(t)c≤μM1
因为 X n c ≤ X n X_n^c\leq X_n Xnc≤Xn ，所以 T n c ≤ T n T_{n}^c\leq T_{n} Tnc≤Tn ，因此 N ( t ) c ≥ N ( t ) N(t)^c \geq N(t) N(t)c≥N(t) ， M ( t ) c ≥ M ( t ) M(t)^c\geq M(t) M(t)c≥M(t) ，所以：
lim sup ⁡ t → ∞ M ( t ) t ≤ lim sup ⁡ t → ∞ M ( t ) c t ≤ 1 μ M \limsup\limits_{t\to\infty}\frac{M(t)}{t}\leq\limsup\limits_{t\to\infty}\frac{M(t)^c}{t}\leq \frac{1}{\mu_M} t→∞limsuptM(t)≤t→∞limsuptM(t)c≤μM1
令 M → ∞ M\to\infty M→∞ ，有 X n c → X n X_n^c\to X_n Xnc→Xn ， E ( X n c ) → E ( X n ) E(X_n^c)\to E(X_n) E(Xnc)→E(Xn) ，即 μ M → μ \mu_M\to\mu μM→μ ，所以：
lim sup ⁡ t → ∞ M ( t ) t ≤ 1 μ \limsup\limits_{t\to\infty}\frac{M(t)}{t}\leq \frac{1}{\mu} t→∞limsuptM(t)≤μ1
综合 ① 和 ② 得到： lim ⁡ t → ∞ M ( t ) t = 1 μ \lim\limits_{t\to\infty}\frac{M(t)}{t}=\frac{1}{\mu} t→∞limtM(t)=μ1 ；

当 μ = ∞ \mu=\infty μ=∞ 时，在考虑 X n c X_n^c Xnc 的确定过程，当 M → ∞ M\to\infty M→∞ 时， μ M → ∞ \mu_M\to\infty μM→∞ ，所以也是成立的；

Blackwell 更新定理

当 μ < ∞ \mu\lt \infty μ<∞ 时，Feller 初等更新定理可以看作当 t → ∞ t\to\infty t→∞ 时， M ( t ) ∼ t μ M(t)\sim \frac{t}{\mu} M(t)∼μt （注意 M ( t ) M(t) M(t) 是个函数）。那我们可以研究一下当 t → ∞ t\to\infty t→∞ 时，对于任意一个 h h h ，是否有：
M ( t + h ) − M ( t ) → t + h μ − t μ = h μ M(t+h)-M(t)\to\frac{t+h}{\mu}-\frac{t}{\mu}= \frac{h}{\mu} M(t+h)−M(t)→μt+h−μt=μh
格点分布：称随机变量 X X X 服从格点分布（或随机变量 X X X 的分布 F F F 是格点的），若存在 d ≥ 0 d\geq 0 d≥0 ，使得：
∑ n = 0 ∞ P ( X = n d ) = 1 \sum\limits_{n=0}^{\infty}P(X=nd)=1 n=0∑∞P(X=nd)=1
称满足上述条件的最大 d d d 称为此格点分布的周期。

注意：

上述定义只能知道 F F F 在不是 n d nd nd 上取值为 0，但不代表所有的 n d nd nd 都被取到了，有可能有限个 n d nd nd 的概率相加已经为 1 1 1 了。
格点分布是一类离散分布，例如二项分布、泊松分布都是格点分布，但是有一些离散分布并不属于格点分布，因为离散分布的值域只要是可数的就行，例如某个随机变量 X X X 的分布为：

X 1 2 1 3 1 4 1 5 ⋯ P ( X ) 1 2 1 2 2 1 2 3 1 2 4 ⋯ \begin{array}{c|c|c|c|c|c} \hline X & \frac{1}{2} & \frac{1}{3} & \frac{1}{4} & \frac{1}{5} & \cdots\\ \hline P(X) & \frac{1}{2} & \frac{1}{2^2} & \frac{1}{2^3} & \frac{1}{2^4} & \cdots \\ \hline \end{array} XP(X)2121312214123151241⋯⋯

这样的话 X X X 是离散分布的，但是找不到一个 d d d 使得任意 1 k \frac{1}{k} k1 都用 n d nd nd 来表示，因此 X X X 不是格点分布

Blackwell 更新定理：记 μ = E ( X n ) \mu=E(X_n) μ=E(Xn)

若 F F F 不是格点分布，则对一切 a ≥ 0 a\geq0 a≥0 ，当 t → ∞ t\to\infty t→∞ 时，有：

M ( t + a ) − M ( t ) → a μ M(t+a)-M(t)\to \frac{a}{\mu} M(t+a)−M(t)→μa

若 F F F 是格点分布，周期为 d d d ，则当 n → ∞ n\to\infty n→∞ 时，有：

P ( 在 n d 时刻发生更新 ) → d μ P(在 nd 时刻发生更新)\to \frac{d}{\mu} P(在nd时刻发生更新)→μd

这个定理书上都没有捏，估计是看不懂，可以直观理解一下。当不是格点分布时，表示在长度为 a a a 的时间区间内发生的平均次数为 a μ \frac{a}{\mu} μa，这个跟初等更新定理时差不多的意思。但是当 F F F 为格点分布时，由于更新只发生在 d d d 的整数倍，所以更新次数的多少依赖于区间上 n d nd nd 点的数目，而同样长的区间所含形如 n d nd nd 点的数目可能是不同的。而平均来说，单位时间发生的次数为 1 μ \frac{1}{\mu} μ1 ，所以可以认为平均到每个时间长度为 d d d 的区间上，平均发生次数为 1 d \frac{1}{d} d1 。

如上边所说，Feller 初等更新定理时 Blackwell 更新定理的特殊情况。令 b n = M ( t + 1 ) − M ( t ) b_n=M(t+1)-M(t) bn=M(t+1)−M(t) ，当 F F F 不是格点分布时，有：
lim ⁡ n → ∞ b n = 1 μ \lim\limits_{n\to\infty}b_n=\frac{1}{\mu} n→∞limbn=μ1
由极限的四则运算得：
b 1 + b 2 + ⋯ + b n n = M ( n ) n → 1 μ \frac{b_1+b_2+\cdots+b_n}{n}=\frac{M(n)}{n}\to \frac{1}{\mu} nb1+b2+⋯+bn=nM(n)→μ1
从而对任意实数 t t t （相当于连续时间），有：
⌊ t ⌋ t ⋅ M ( ⌊ t ⌋ ) ⌊ t ⌋ ≤ M ( t ) t ≤ ⌊ t ⌋ + 1 t ⋅ M ( ⌊ t ⌋ + 1 ) ⌊ t ⌋ + 1 \frac{\lfloor t \rfloor}{t}\cdot \frac{M(\lfloor t \rfloor)}{\lfloor t \rfloor}\leq \frac{M(t)}{t}\leq\frac{\lfloor t \rfloor+1}{t}\cdot \frac{M(\lfloor t \rfloor + 1)}{\lfloor t \rfloor+1} t⌊t⌋⋅⌊t⌋M(⌊t⌋)≤tM(t)≤t⌊t⌋+1⋅⌊t⌋+1M(⌊t⌋+1)
令 t → ∞ t\to\infty t→∞ ，由夹逼定理可知：
M ( t ) t → 1 μ \frac{M(t)}{t}\to\frac{1}{\mu} tM(t)→μ1
当 F F F 是格点分布时，这里就不是取 ⌊ t ⌋ \lfloor t\rfloor ⌊t⌋ 和 ⌊ t ⌋ + 1 \lfloor t\rfloor+1 ⌊t⌋+1 了，而是取离 t t t 前后两个最近的 n d nd nd ，然后也可以由夹逼定理得到一样的结果。

关键更新定理

关键更新定理：记 μ = E ( X n ) \mu=E(X_n) μ=E(Xn) ，设函数 h ( t ) h(t) h(t) ( t ∈ [ 0 , ∞ ) ) (t\in[0,\,\infty)) (t∈[0,∞)) ，满足（1） h ( t ) h(t) h(t) 非负不增；（2） ∫ 0 ∞ h ( t ) d t < ∞ \int_0^{\infty}h(t)\,dt\lt \infty ∫0∞h(t)dt<∞ 。 H ( t ) H(t) H(t) 是更新方程：
H ( t ) = h ( t ) + ∫ 0 t H ( t − s ) d F ( s ) H(t)=h(t)+\int_{0}^{t}H(t-s)\,dF(s) H(t)=h(t)+∫0tH(t−s)dF(s)
的解（ F ( x ) F(x) F(x) 就是 X i X_i Xi 的分布函数）。那么：

若 F F F 不是格点分布，有：

lim ⁡ t → ∞ H ( t ) = { 1 μ ∫ 0 ∞ h ( x ) d x μ < ∞ 0 μ = ∞ \lim\limits_{t\to\infty}H(t)=\left\{ \begin{array}{l} \frac{1}{\mu}\int_0^{\infty}h(x)\,dx & \mu\lt \infty \\ 0 & \mu=\infty \end{array} \right. t→∞limH(t)={μ1∫0∞h(x)dx0μ<∞μ=∞

若 F F F 是格点分布，对于 0 ≤ c < d 0\leq c\lt d 0≤c<d ，有：

lim ⁡ n → ∞ H ( c + n d ) = { d μ ∑ n = 0 ∞ h ( c + n d ) μ < ∞ 0 μ = ∞ \lim\limits_{n\to\infty}H(c+nd)=\left\{ \begin{array}{l} \frac{d}{\mu}\sum\limits_{n=0}^{\infty}h(c+nd) & \mu\lt \infty \\ 0 & \mu=\infty \end{array} \right. n→∞limH(c+nd)=⎩ ⎨ ⎧μdn=0∑∞h(c+nd)0μ<∞μ=∞

关键更新定理和 Blackwell 更新定理是等价的，所以同样没有证明hhhh。但是我们可以简单证明以下二者的等价性：（考虑 F F F 不是格点分布、 μ < ∞ \mu<\infty μ<∞ 的情况）

① 关键更新定理 → \to → Blackwell 更新定理：对于任意 a ≥ 0 a\geq 0 a≥0 ，我们令：
h ( t ) = { 1 0 ≤ t ≤ a 0 t > a h(t)=\left\{\begin{array}{l} 1 & 0 \leq t \leq a \\ 0 & t \gt a \end{array} \right. h(t)={100≤t≤at>a

这样 h ( t ) h(t) h(t) 就满足了非负不增的条件，并且在正数区间上积分也是有限的。这样我们就可以得到 H ( t ) H(t) H(t) 的解：（我们取 t → ∞ t\to\infty t→∞ ）
H ( t ) = h ( t ) + ∫ 0 t h ( t − s ) d M ( s ) = ∫ t − a t d M ( s ) = M ( t ) − M ( t − a ) H(t)=h(t)+\int_{0}^{t}h(t-s)\,dM(s)=\int_{t-a}^tdM(s)=M(t)-M(t-a) H(t)=h(t)+∫0th(t−s)dM(s)=∫t−atdM(s)=M(t)−M(t−a)
其中 M ( t ) M(t) M(t) 是 F ( t ) F(t) F(t) 的更新函数，又有：
lim ⁡ t → ∞ H ( t ) = 1 μ ∫ 0 ∞ h ( x ) d x = a μ \lim\limits_{t\to\infty}H(t)=\frac{1}{\mu}\int_0^{\infty}h(x)\,dx=\frac{a}{\mu} t→∞limH(t)=μ1∫0∞h(x)dx=μa
因此得到 Blackwell 更新定理 F ( t ) F(t) F(t) 为非格点分布的情况：
lim ⁡ t → ∞ M ( t ) − M ( t − a ) = a μ \lim\limits_{t\to\infty}M(t)-M(t-a)=\frac{a}{\mu} t→∞limM(t)−M(t−a)=μa
② Blackwell 更新定理 → \to → 关键更新定理：也是和上面一样的假设：考虑 F F F 不是格点分布、 μ < ∞ \mu<\infty μ<∞ 的情况，根据 Blackwell 更新定理有：
lim ⁡ t → ∞ M ( t + a ) − M ( t ) a = 1 μ \lim\limits_{t\to\infty}\frac{M(t+a)-M(t)}{a}=\frac{1}{\mu} t→∞limaM(t+a)−M(t)=μ1
则：
lim ⁡ a → 0 lim ⁡ t → ∞ M ( t + a ) − M ( t ) a = 1 μ \lim\limits_{a\to0}\lim\limits_{t\to\infty}\frac{M(t+a)-M(t)}{a}=\frac{1}{\mu} a→0limt→∞limaM(t+a)−M(t)=μ1
假设极限次序可以交换，那么有：
lim ⁡ t → ∞ d M ( t ) d t = 1 μ \lim\limits_{t\to\infty}\frac{dM(t)}{dt}=\frac{1}{\mu} t→∞limdtdM(t)=μ1
因为 ∫ 0 ∞ h ( t ) d t < ∞ \int_0^{\infty}h(t)\,dt\lt \infty ∫0∞h(t)dt<∞ ，所以 lim ⁡ t → ∞ h ( t ) = 0 \lim\limits_{t\to\infty}h(t)=0 t→∞limh(t)=0 ，则 H ( t ) H(t) H(t) 有：
lim ⁡ t → ∞ H ( t ) = lim ⁡ t → ∞ h ( t ) + lim ⁡ t → ∞ ∫ 0 t h ( t − s ) d M ( s ) = 1 μ ∫ 0 ∞ h ( t ) d t \lim\limits_{t\to\infty}H(t)=\lim\limits_{t\to\infty}h(t)+\lim\limits_{t\to\infty}\int_{0}^{t}h(t-s)\,dM(s)=\frac{1}{\mu}\int_{0}^{\infty}h(t)\,dt t→∞limH(t)=t→∞limh(t)+t→∞lim∫0th(t−s)dM(s)=μ1∫0∞h(t)dt

更新定理的应用

技巧：直接使用更新定理，这些题目往往直接算出期望来，然后使用 Feller 初等更新定理即可；

例：某机器使用电池供电，设电池寿命 X i X_i Xi 服从均值为 45h 的正态分布，电池失效时需要去仓库领取，领取时间 Y i Y_i Yi 服从期望为 0.5 h，求长时间工作时机器更换电池的速率

解：更换电池的速率，就是长时间更换次数除以时间，设 N ( t ) N(t) N(t) 表示到时刻 t t t 为止更换的次数，平均更新时间为 E ( X i + Y i ) = 45.5 E(X_i+Y_i)=45.5 E(Xi+Yi)=45.5 ，则根据更新定理，更换电池的速率为：
lim ⁡ t → ∞ E [ N ( t ) ] t = lim ⁡ t → ∞ M ( t ) t = 1 E ( X i + Y i ) = 2 91 ( 次 / 小时 ) \lim\limits_{t\to\infty}\frac{E[N(t)]}{t}=\lim\limits_{t\to\infty}\frac{M(t)}{t}=\frac{1}{E(X_i+Y_i)}=\frac{2}{91} \,(次/小时) t→∞limtE[N(t)]=t→∞limtM(t)=E(Xi+Yi)1=912(次/小时)
技巧：利用某些过程的无记忆性（还是叫独立增量性哇），我们可以写出一些递归的表达式，转换成更新方程，就可以求出某些分布函数

例：（剩余寿命与年龄的极限分布）以 r ( t ) = T N ( t ) + 1 − t r(t)=T_{N(t)+1}-t r(t)=TN(t)+1−t 表示 t t t 时刻的剩余寿命，即从 t t t 时刻开始到下次更新剩余的时间， s ( t ) = t − T N ( t ) s(t)=t-T_{N(t)} s(t)=t−TN(t) 为 t t t 时刻的年龄，求 r ( t ) r(t) r(t) 和 s ( t ) s(t) s(t) 的极限分布。

解：解释一下题目，把当前看成 t t t 时刻，则 T N ( t ) T_{N(t)} TN(t) 为上一次更新的时间，所以年龄是 t − T N ( t ) t-T_{N(t)} t−TN(t) ； T N ( t ) + 1 T_{N(t)+1} TN(t)+1 是下一次更新的时间，所以 T N ( t ) + 1 − t T_{N(t)+1}-t TN(t)+1−t 是剩余的寿命

令 R ˉ y ( t ) = P ( r ( t ) > y ) \bar{R}_y(t)=P(r(t)\gt y) Rˉy(t)=P(r(t)>y) ，对第一次更新的时刻 X 1 X_1 X1 取条件，得：
P ( r ( t ) > y ∣ X 1 = x ) = { 1 x > t + y 0 t < x ≤ t + y R ˉ y ( t − x ) 0 < x ≤ t P(r(t)\gt y\,|\,X_1=x)=\left\{ \begin{array}{l} 1 & x\gt t+y \\ 0 & t\lt x \leq t+y \\ \bar{R}_y(t-x) & 0\lt x \leq t \end{array} \right. P(r(t)>y∣X1=x)=⎩ ⎨ ⎧10Rˉy(t−x)x>t+yt<x≤t+y0<x≤t

当 x > t + y x\gt t+y x>t+y 时，说明第一次更新发生在 t + y t+y t+y 时刻后，则 t t t 时刻的剩余寿命为 x − t > y x-t\gt y x−t>y ，所以剩余寿命一定比 y y y 要大，概率为 1；
当 t < x ≤ t + y t\lt x \leq t+y t<x≤t+y 时，说明第一次更新发生在当前时刻之后， t + y t+y t+y 时刻之前，说明剩余寿命 x − t < y x-t<y x−t<y ，所以剩余寿命一定不比 y y y 要大，概率为 0；
当 0 < x ≤ t 0\lt x \leq t 0<x≤t 时，说明第一次更新发生在当前时刻后，我们可以递归进行以上过程，按照无记忆性去理解

由全概率公式，可以得到：
R ˉ y ( t ) = ∫ 0 ∞ P ( r ( t ) > y ∣ X 1 = x ) d F ( x ) = ∫ t + y ∞ d F ( x ) + ∫ 0 t R ˉ y ( t − x ) d F ( x ) = 1 − F ( t + y ) + ∫ 0 t R ˉ y ( t − x ) d F ( x ) \begin{align} \bar{R}_y(t)=&\,\int_{0}^{\infty}P(r(t)\gt y\,|\,X_1=x)\,dF(x) \\ =&\,\int_{t+y}^{\infty}dF(x)+\int_{0}^{t}\bar{R}_y(t-x)\,dF(x) \\ =&\,1-F(t+y)+\int_{0}^{t}\bar{R}_y(t-x)\,dF(x) \\ \end{align} Rˉy(t)===∫0∞P(r(t)>y∣X1=x)dF(x)∫t+y∞dF(x)+∫0tRˉy(t−x)dF(x)1−F(t+y)+∫0tRˉy(t−x)dF(x)
这就得到了一个更新方程，其解为：
R ˉ y ( x ) = 1 − F ( t + y ) + ∫ 0 ∞ ( 1 − F ( t + y − x ) ) d M ( x ) \bar{R}_y(x)=1-F(t+y)+\int_{0}^{\infty}(1-F(t+y-x))\,dM(x) Rˉy(x)=1−F(t+y)+∫0∞(1−F(t+y−x))dM(x)
我们假设 μ = E ( X 1 ) < ∞ \mu=E(X_1)\lt\infty μ=E(X1)<∞ ，则：（这一步我没有理解为什么）
μ = ∫ 0 ∞ x d F ( x ) = ∫ 0 ∞ [ 1 − F ( x ) ] d x < ∞ \mu=\int_{0}^{\infty}x\,dF(x)=\int_{0}^{\infty}[1-F(x)]\,dx\lt \infty μ=∫0∞xdF(x)=∫0∞[1−F(x)]dx<∞
因此：
∫ 0 ∞ [ 1 − F ( t + y ) ] d t = ∫ y ∞ [ 1 − F ( t ) ] d y < ∞ \int_0^{\infty}[1-F(t+y)]\,dt=\int_{y}^{\infty}[1-F(t)]\,dy\lt \infty ∫0∞[1−F(t+y)]dt=∫y∞[1−F(t)]dy<∞
由关键更新定理得到剩余寿命的极限分布为：
lim ⁡ t → ∞ P ( r ( t ) > y ) = lim ⁡ t → ∞ R ˉ y ( t ) = 1 μ ∫ y ∞ [ 1 − F ( t ) ] d t \lim\limits_{t\to\infty}P(r(t)\gt y)=\lim\limits_{t\to\infty}\bar{R}_y(t)=\frac{1}{\mu}\int_y^{\infty}[1-F(t)]\,dt t→∞limP(r(t)>y)=t→∞limRˉy(t)=μ1∫y∞[1−F(t)]dt

年龄的分布式可以由上面的式子得出，注意到：
{ r ( t ) > x , s ( t ) > y } ⟺ { r ( t − y ) > x + y } \{ r(t)\gt x, \,s(t)\gt y \} \iff \{ r(t-y)\gt x+y \} {r(t)>x,s(t)>y}⟺{r(t−y)>x+y}
所以：
lim ⁡ t → ∞ P ( r ( t ) > x , s ( t ) > y ) = lim ⁡ t → ∞ P ( r ( t − y ) > x + y ) = 1 μ ∫ x + y ∞ [ 1 − F ( t ) ] d t \lim\limits_{t\to\infty}P(r(t)\gt x, \,s(t)\gt y)=\lim\limits_{t\to\infty}P(r(t-y)\gt x+y)=\frac{1}{\mu}\int_{x+y}^{\infty}[1-F(t)]\,dt t→∞limP(r(t)>x,s(t)>y)=t→∞limP(r(t−y)>x+y)=μ1∫x+y∞[1−F(t)]dt
特别地，可以得到年龄的极限分布：
lim ⁡ t → ∞ P ( s ( t ) > y ) = lim ⁡ t → ∞ P ( s ( t ) > y , r ( t ) > 0 ) = 1 μ ∫ y ∞ [ 1 − F ( t ) ] d t \lim\limits_{t\to\infty}P(s(t)\gt y)=\lim\limits_{t\to\infty}P(s(t)\gt y, r(t)\gt 0)=\frac{1}{\mu}\int_y^{\infty}[1-F(t)]\,dt t→∞limP(s(t)>y)=t→∞limP(s(t)>y,r(t)>0)=μ1∫y∞[1−F(t)]dt
可以看到剩余寿命和年龄的极限分布相同。

更新过程的推广

延迟更新过程

延迟更新过程：仅仅对 X 1 X_1 X1 作出特殊假设，允许 X 1 X_1 X1 服从与其他 X i ( i > 1 ) X_i \,(i\gt 1) Xi(i>1) 不同的分布 G G G ，但仍然是相互独立的。这样的话，更新定理仍然是成立的，只是说 M ( t ) = G ∗ F ∗ F ∗ ⋯ ( t ) M(t)=G*F*F*\cdots(t) M(t)=G∗F∗F∗⋯(t) ，第一次更新的时刻对无穷远的情况并没有很大影响

例：对于上边机器换零件的情况，我们可以认为开始观察时第一个零件已经使用一段时间了，所以它的分布和后续的分布就不一样

更新回报过程

更新回报过程：类似于复合 Poisson 过程，设：
R ( t ) = ∑ i = t N ( t ) R i R(t)=\sum\limits_{i=t}^{N(t)}R_i R(t)=i=t∑N(t)Ri
其中 { N ( t ) , t ≥ 0 } \{N(t),\,t\geq 0\} {N(t),t≥0} 是一个更新过程， R i R_i Ri 独立同分布且与 N ( t ) N(t) N(t) 独立，则称 R ( t ) R(t) R(t) 是一个更新回报过程。可以理解为， R i R_i Ri 是第 i i i 次更新获得的回报。更一般的更新过程，可以要求 R i R_i Ri 只依赖于 X i X_i Xi ，但是随机向量列 ( X 1 , R i ) (X_1,\,R_i) (X1,Ri) 独立同分布。。

更新回报定理：若更新回报过程满足 E ( X i ) < ∞ E(X_i)\lt \infty E(Xi)<∞ 且 E ( R i ) < ∞ E(R_i)\lt \infty E(Ri)<∞ ，则有：

lim ⁡ t → ∞ R ( t ) t = E ( R i ) E ( X i ) \lim\limits_{t\to\infty}\frac{R(t)}{t}=\frac{E(R_i)}{E(X_i)} t→∞limtR(t)=E(Xi)E(Ri) 以概率 1 成立
lim ⁡ t → ∞ E [ R ( t ) ] t = E ( R i ) E ( X i ) \lim\limits_{t\to\infty}\frac{E[R(t)]}{t}=\frac{E(R_i)}{E(X_i)} t→∞limtE[R(t)]=E(Xi)E(Ri)

以上定理可以分别由强大数定理和更新方程及定理证明

例：（产品保修策略）设某公司所出售的商品采取如下更换策略：

若产品在售出 w w w 时间内损坏，则免费更换相同产品；
若在 ( w , w + T ] (w,\,w+T] (w,w+T] 期间损坏，则按使用时间折价更换新产品；

对在 ( 0 , w ] (0,\,w] (0,w] 内更换的新产品执行原来的更换期，而对在 ( w , w + T ] (w,\,w+T] (w,w+T] 内折价更换的新产品，则从更换时刻重新计算更换期。讨论长期执行此策略对厂家的期望利润的影响。（假定产品一旦损坏，顾客立刻更换、折换或者购买新的）。

解：设 t = 0 t=0 t=0 时刻顾客购买了一个新产品，售价 c c c ，成本 c 0 < c c_0\lt c c0<c ，产品寿命为 X X X ，服从分布函数为 F ( t ) F(t) F(t) ，且 E ( X ) = μ < ∞ E(X)= \mu\lt \infty E(X)=μ<∞ 。设用户相邻两次购买的间隔（包括全价购买和折换购买、不包括免费更换）为 Y 1 Y_1 Y1 ， Y 2 Y_2 Y2 ， ⋯ \cdots ⋯ 。因为每次更换的产品都是新的，所以 Y Y Y 独立同分布。记 Y Y Y 的分布为 G ( t ) G(t) G(t) ，记 N ( t ) N(t) N(t) 为 ( 0 , t ] (0,\,t] (0,t] 时间内的更换次数， T n T_n Tn 为第 n n n 次更换的时间， M ( t ) = E [ N ( t ) ] M(t)=E[N(t)] M(t)=E[N(t)] 。（乐，已经定义了一堆东西，但是大部分符号都是之前见过的）

首先计算用户在 ( 0 , Y 1 ) (0,\,Y_1) (0,Y1) 内的花费期望 E ( Y 1 ) E(Y_1) E(Y1) ，对于用户而言，更换策略为：
{ 0 y ≤ w c ( y − w ) T w < y < w + T \left\{ \begin{array}{l} 0 & y\leq w \\ \frac{c(y-w)}{T} & w\lt y \lt w+T \end{array} \right. {0Tc(y−w)y≤ww<y<w+T
其中 y y y 为使用时间。设 R w R_w Rw 为产品在 w w w 时刻的剩余寿命，则 Y 1 = w + R w Y_1=w+R_w Y1=w+Rw ，且 Y 1 = T N ( w ) + 1 Y_1=T_{N(w)+1} Y1=TN(w)+1 （这两个等式好好理解一下。。。第一个等式是因为 Y i Y_i Yi 不包括免费更换，所以是 w w w 时间以后第一次坏掉的时间（即 R w R_w Rw ）再加上之前 w w w 的时间；第二个等式同样是因为 Y i Y_i Yi 不包括免费更换，所以 N ( w ) N(w) N(w) 次更新后的下一次更新就是用户第一次不能免费更换的更新）

由前面证明剩余寿命的过程中得到：
P ( w + R w > t ) = R ˉ t − w ( w ) = 1 − F ( t ) + ∫ 0 w [ 1 − F ( t − x ) ] d M ( x ) = F ˉ ( t ) + ∫ 0 w F ˉ ( t − x ) d M ( x ) P(w+R_w\gt t)=\bar{R}_{t-w}(w)=1-F(t)+\int_{0}^{w}[1-F(t-x)]dM(x)=\bar{F}(t)+\int_0^w\bar{F}(t-x)\,dM(x) P(w+Rw>t)=Rˉt−w(w)=1−F(t)+∫0w[1−F(t−x)]dM(x)=Fˉ(t)+∫0wFˉ(t−x)dM(x)
所以
G ˉ ( t ) = P ( Y 1 > t ) = { 1 0 ≤ t ≤ w P ( w + R w > t ) = F ˉ ( t ) + ∫ 0 w F ˉ ( t − x ) d M ( x ) t > w \begin{align} \bar{G}(t)=&\,P(Y_1\gt t) \\ =&\, \left\{ \begin{array}{ll} 1 & 0\leq t \leq w \\ P(w+R_w\gt t)=\bar{F}(t)+\int_{0}^{w}\bar{F}(t-x)\,dM(x) & t\gt w \end{array} \right. \end{align} Gˉ(t)==P(Y1>t){1P(w+Rw>t)=Fˉ(t)+∫0wFˉ(t−x)dM(x)0≤t≤wt>w
由 wald 等式得：
E ( Y 1 ) = E [ T N ( t ) + 1 ] = μ [ 1 + M ( w ) ] E(Y_1)=E[T_{N(t)+1}]=\mu[1+M(w)] E(Y1)=E[TN(t)+1]=μ[1+M(w)]
设 ( 0 , Y 1 ] (0,\,Y_1] (0,Y1] 内用户花费为 c 1 c_1 c1 ，则：
c 1 = { c Y 1 > w + T c ( Y 1 − w ) T w < Y 1 ≤ w + T c_1=\left\{ \begin{array}{ll} c & Y_1\gt w+T \\ \frac{c(Y_1-w)}{T} & w\lt Y_1 \le w+T \end{array} \right. c1={cTc(Y1−w)Y1>w+Tw<Y1≤w+T
从而：
E ( c 1 ) = c G ˉ ( w + T ) + c T ∫ w w + T ( t − w ) d G ( t ) E(c_1)=c\bar{G}(w+T)+\frac{c}{T}\int_{w}^{w+T}(t-w)\,dG(t) E(c1)=cGˉ(w+T)+Tc∫ww+T(t−w)dG(t)
对右边第二项换元、分部积分，得到：
= c ( 1 − G ( w + T ) ) + c T ∫ 0 T t d G ( t + w ) = c ( 1 − G ( w + T ) ) + c G ( w + T ) − c T ∫ 0 T G ( t + w ) d t = c − c T ∫ 0 T ( 1 − G ˉ ( t + w ) ) d t = c T ∫ 0 T G ˉ ( t + w ) d t = c T ∫ 0 T P ( R w > x ) d x \begin{align} =&\,c(1-G(w+T))+\frac{c}{T}\int_{0}^{T}tdG(t+w) \\ =&\,c(1-G(w+T))+cG(w+T)-\frac{c}{T}\int_{0}^{T}G(t+w)\,dt \\ =&\, c-\frac{c}{T}\int_{0}^{T}(1-\bar{G}(t+w))\,dt \\ =&\,\frac{c}{T}\int_0^T\bar{G}(t+w)\,dt \\ =&\,\frac{c}{T}\int_{0}^TP(R_w\gt x)dx \\ \end{align} =====c(1−G(w+T))+Tc∫0TtdG(t+w)c(1−G(w+T))+cG(w+T)−Tc∫0TG(t+w)dtc−Tc∫0T(1−Gˉ(t+w))dtTc∫0TGˉ(t+w)dtTc∫0TP(Rw>x)dx
于是用户的长期平均费用为（更新回报定理）：
c ( w , T ) = E ( c 1 ) E ( Y 1 ) = c ∫ 0 T P ( R w > x ) d x T μ ( 1 + M ( w ) ) c(w,\,T)=\frac{E(c_1)}{E(Y_1)}=\frac{c\int_0^TP(R_w\gt x)\,dx}{T\mu(1+M(w))} c(w,T)=E(Y1)E(c1)=Tμ(1+M(w))c∫0TP(Rw>x)dx

对于公司而言，在 ( 0 , w ] (0,\,w] (0,w] 内免费更换产品的个数的期望值为 E ( N ( w ) ) = M ( w ) E(N(w))=M(w) E(N(w))=M(w) ，因此，在一个购买周期 ( 0 , Y 1 ] (0,\,Y_1] (0,Y1] 内，公司所付成本为 c 0 [ M ( t ) + 1 ] c_0[M(t)+1] c0[M(t)+1] ，公司从每个用户所得的长期平均利润为：
c ( w , T ) − c 0 ( 1 + M ( t ) ) μ ( 1 + M ( t ) ) = c ( w , T ) − c 0 μ c(w,\,T)-\frac{c_0(1+M(t))}{\mu(1+M(t))}=c(w,\,T)-\frac{c_0}{\mu} c(w,T)−μ(1+M(t))c0(1+M(t))=c(w,T)−μc0

交替更新过程

更新过程仅考虑了一种状态，但是现实情况中，比如可能某个机器开了一段时间 Z i Z_i Zi ，零件损坏，需要关闭一段时间 Y i Y_i Yi 才能修好，下一个零件的寿命又是 Z i + 1 Z_{i+1} Zi+1，维修时间为 Y i + 1 Y_{i+1} Yi+1 ，每当系统被打开称为一次更新。

假设随机向量列 { ( Z n , Y n ) , n ≥ 1 } \{(Z_n,\,Y_n),\,n\geq 1\} {(Zn,Yn),n≥1} 是独立同分布的，即 Z i , Y j Z_i,\,Y_j Zi,Yj 在 i ≠ j i\not=j i=j 时时独立的，但 Z i Z_i Zi ， Y i Y_i Yi 允许不独立。

Th：设 H H H 是 Z n Z_n Zn 的分布， G G G 是 Y n Y_n Yn 的分布， F F F 是 Z n + Y n Z_n+Y_n Zn+Yn 的分布，并记 P ( t ) = P ( t 时刻系统是开的 ) P(t)=P(t\,时刻系统是开的) P(t)=P(t时刻系统是开的) ，设 E ( Y n + Z n ) < ∞ E(Y_n+Z_n)\lt \infty E(Yn+Zn)<∞ ，且 F F F 不是格点分布，则：
lim ⁡ t → ∞ P ( t ) = E ( Z n ) E ( Z n ) + E ( Y n ) \lim\limits_{t\to\infty}P(t)=\frac{E(Z_n)}{E(Z_n)+E(Y_n)} t→∞limP(t)=E(Zn)+E(Yn)E(Zn)
直观上理解还是很好理解的，开的概率肯定就是开的时间所占的比例，使用关键更新定理证明：

证明：对第一次更新的时刻 X 1 = Z 1 + Y 1 X_1=Z_1+Y_1 X1=Z1+Y1 取条件概率：
P ( t 时刻系统开着 ∣ X 1 = x ) = { P ( Z 1 > t ∣ Z 1 + Y 1 > t ) x ≥ t P ( t − x ) x < t P(t\,时刻系统开着|X_1=x)=\left\{ \begin{array}{ll} P(Z_1\gt t|Z_1+Y_1\gt t) & x\geq t \\ P(t-x) & x\lt t \end{array} \right. P(t时刻系统开着∣X1=x)={P(Z1>t∣Z1+Y1>t)P(t−x)x≥tx<t

如果 x ≥ t x\geq t x≥t ，说明 t t t 时刻处于第一次更新前，所以要保证在 Z 1 + Y 1 > t Z_1+Y_1\gt t Z1+Y1>t 的前提下，系统要从头开到 t t t 时刻，即 Z 1 > t Z_1\gt t Z1>t ；
如果 x < t x\lt t x<t ，说明到 t t t 时刻时，第一次更新已经结束了，由独立性得，剩下的时间是否开和第一次更新的时间无关

则：
P ( t ) = ∫ 0 ∞ P ( t 时刻系统开着 ∣ X 1 = x ) d F ( x ) = P ( Z 1 > t ) + ∫ 0 t P ( t − x ) d F ( x ) = H ˉ ( t ) + ∫ 0 t P ( t − x ) d F ( x ) \begin{align} P(t)=&\,\int_{0}^{\infty}P(t\,时刻系统开着|X_1=x)\,dF(x) \\ =&\,P(Z_1\gt t)+\int_0^tP(t-x)\,dF(x) \\ =&\,\bar{H}(t)+\int_0^tP(t-x)\,dF(x) \end{align} P(t)===∫0∞P(t时刻系统开着∣X1=x)dF(x)P(Z1>t)+∫0tP(t−x)dF(x)Hˉ(t)+∫0tP(t−x)dF(x)
这是一个更新方程，解得：
P ( t ) = H ˉ ( t ) + ∫ 0 t H ˉ ( t − x ) d M ( x ) P(t)=\bar{H}(t)+\int_0^t\bar{H}(t-x)\,dM(x) P(t)=Hˉ(t)+∫0tHˉ(t−x)dM(x)
又 ∫ 0 ∞ H ˉ ( t ) d t = E ( Z 1 ) < ∞ \int_0^\infty \bar{H}(t)\,dt=E(Z_1)\lt \infty ∫0∞Hˉ(t)dt=E(Z1)<∞ ，而且显然 H ˉ ( t ) \bar{H}(t) Hˉ(t) 非负不增，由关键更新定理得：
lim ⁡ t → ∞ P ( t ) = 1 E ( Z 1 + Y 1 ) ∫ 0 ∞ H ˉ ( t ) d t = E ( Z 1 ) E ( Z 1 ) + E ( Y 1 ) \lim\limits_{t\to\infty}P(t)=\frac{1}{E(Z_1+Y_1)}\int_{0}^{\infty}\bar{H}(t)\,dt=\frac{E(Z_1)}{E(Z_1)+E(Y_1)} t→∞limP(t)=E(Z1+Y1)1∫0∞Hˉ(t)dt=E(Z1)+E(Y1)E(Z1)