====== 第三章 更新过程 ======

===== 3.1 引言 =====

泊松过程中，到达时间间隔服从指数分布，具有无记忆性。然而在实际应用中，许多系统的组件寿命、设备故障间隔等并不服从指数分布。更新过程是泊松过程的推广，允许到达时间间隔服从任意分布。

**典型应用**：
  * 设备更换策略：灯泡损坏后更换，更换间隔构成更新过程
  * 库存管理：订货到达形成更新过程
  * 排队系统：服务完成后顾客离开形成更新过程
  * 保险风险：理赔到达时间的建模

===== 3.2 更新过程的定义 =====

**定义3.1（更新过程）** 设 $\{T_n, n \geq 1\}$ 是独立同分布的非负随机变量序列，分布函数为 $F(t)$，且 $F(0) < 1$。令：
$$S_0 = 0, \quad S_n = \sum_{i=1}^n T_i, \quad n \geq 1$$
定义计数过程：
$$N(t) = \sup\{n: S_n \leq t\}, \quad t \geq 0$$
则称 $\{N(t), t \geq 0\}$ 为**更新过程**（Renewal Process）。

其中：
  * $T_n$ 称为第 $n$ 个**更新间隔**或**寿命**
  * $S_n$ 称为第 $n$ 个**更新时刻**
  * $N(t)$ 表示到时刻 $t$ 为止发生的更新次数

**注**：当 $T_n \sim Exp(\lambda)$ 时，更新过程退化为泊松过程。

===== 3.3 更新函数 =====

==== 3.3.1 定义与基本性质 ====

**定义3.2（更新函数）** 更新过程 $\{N(t)\}$ 的**更新函数**定义为：
$$m(t) = E[N(t)]$$

即更新次数的期望值。

**定理3.1** 更新函数可以表示为：
$$m(t) = \sum_{n=1}^{\infty} F_n(t)$$
其中 $F_n(t)$ 是 $S_n$ 的分布函数，即 $F$ 的 $n$ 重卷积。

**证明**：
$$\begin{aligned}
m(t) &= E[N(t)] = \sum_{n=1}^{\infty} P(N(t) \geq n) = \sum_{n=1}^{\infty} P(S_n \leq t) \\
&= \sum_{n=1}^{\infty} F_n(t)
\end{aligned}$$

**定理3.2** 对任意 $t \geq 0$，$m(t) < \infty$。

**证明**：由于 $F(0) < 1$，存在 $\alpha > 0$ 使得 $F(\alpha) < 1$。利用独立同分布性质可以证明 $E[N(t)]$ 有限。

==== 3.3.2 更新函数的Laplace变换 ====

设 $\tilde{F}(s) = \int_0^{\infty} e^{-st}dF(t)$ 是 $F$ 的Laplace-Stieltjes变换，$\tilde{m}(s) = \int_0^{\infty} e^{-st}dm(t)$ 是 $m(t)$ 的Laplace-Stieltjes变换。

**定理3.3** 
$$\tilde{m}(s) = \frac{\tilde{F}(s)}{1 - \tilde{F}(s)}$$

**证明**：由于 $F_n$ 是 $F$ 的 $n$ 重卷积，$\tilde{F}_n(s) = [\tilde{F}(s)]^n$。因此：
$$\tilde{m}(s) = \sum_{n=1}^{\infty} [\tilde{F}(s)]^n = \frac{\tilde{F}(s)}{1 - \tilde{F}(s)}$$

===== 3.4 更新方程 =====

==== 3.4.1 卷积型积分方程 ====

**定理3.4（更新方程）** 更新函数满足以下**更新方程**：
$$m(t) = F(t) + \int_0^t m(t-s)dF(s) = F(t) + (m * F)(t)$$
或写成：
$$m(t) = F(t) + E[m(t-T_1)]$$

**证明**：对第一次更新的时间 $T_1$ 取条件：
$$\begin{aligned}
m(t) &= E[N(t)] = E[E[N(t)|T_1]] \\
&= \int_0^{\infty} E[N(t)|T_1 = s]dF(s)
\end{aligned}$$

当 $s > t$ 时，$E[N(t)|T_1 = s] = 0$。

当 $s \leq t$ 时，第一次更新在 $s$ 发生，之后的过程从 $s$ 重新开始：
$$E[N(t)|T_1 = s] = 1 + E[N(t-s)] = 1 + m(t-s)$$

因此：
$$m(t) = \int_0^t [1 + m(t-s)]dF(s) = F(t) + \int_0^t m(t-s)dF(s)$$

==== 3.4.2 一般更新方程 ====

**定义3.3** 形如
$$g(t) = h(t) + \int_0^t g(t-s)dF(s)$$
的方程称为**更新型方程**，其中 $h(t)$ 是已知函数，$g(t)$ 是未知函数。

**定理3.5** 若 $h(t)$ 有界，则更新型方程的唯一解为：
$$g(t) = h(t) + \int_0^t h(t-s)dm(s) = h(t) + (h * m)(t)$$

===== 3.5 极限定理 =====

==== 3.5.1 强大数定律 ====

设 $\mu = E[T_1] \leq \infty$ 是平均更新间隔。

**定理3.6（更新的强大数定律）**
$$\frac{N(t)}{t} \to \frac{1}{\mu} \quad \text{a.s.} \quad (t \to \infty)$$
（当 $\mu = \infty$ 时，$1/\mu = 0$）

**证明**：由定义 $S_{N(t)} \leq t < S_{N(t)+1}$，因此：
$$\frac{S_{N(t)}}{N(t)} \leq \frac{t}{N(t)} < \frac{S_{N(t)+1}}{N(t)}$$

由强大数定律，$S_n/n \to \mu$ a.s.。当 $t \to \infty$ 时，$N(t) \to \infty$ a.s.，因此：
$$\frac{S_{N(t)}}{N(t)} \to \mu, \quad \frac{S_{N(t)+1}}{N(t)} = \frac{S_{N(t)+1}}{N(t)+1} \cdot \frac{N(t)+1}{N(t)} \to \mu$$

由夹逼定理，$t/N(t) \to \mu$，即 $N(t)/t \to 1/\mu$。

==== 3.5.2 基本更新定理 ====

**定理3.7（基本更新定理，Elementary Renewal Theorem）**
$$\frac{m(t)}{t} \to \frac{1}{\mu} \quad (t \to \infty)$$

**注**：不能由定理3.6直接推出，因为期望的极限不等于极限的期望。

==== 3.5.3 Blackwell更新定理 ====

**定理3.8（Blackwell更新定理）** 若 $F$ 不是格点分布，则对任意 $a > 0$：
$$m(t+a) - m(t) \to \frac{a}{\mu} \quad (t \to \infty)$$

若 $F$ 是周期为 $d$ 的格点分布，则：
$$m(nd) - m((n-1)d) \to \frac{d}{\mu} \quad (n \to \infty)$$

这一定理说明在远离原点的长区间 $[t, t+a]$ 内，期望更新次数趋于 $a/\mu$。

==== 3.5.4 关键更新定理 ====

**定理3.9（关键更新定理，Key Renewal Theorem）** 设 $h(t)$ 是直接Riemann可积函数，$F$ 不是格点分布，则：
$$\lim_{t \to \infty} \int_0^t h(t-s)dm(s) = \frac{1}{\mu}\int_0^{\infty} h(s)ds$$

**应用**：利用关键更新定理可以求解各种极限问题。

===== 3.6 剩余寿命与年龄 =====

==== 3.6.1 定义 ====

在时刻 $t$，定义：
  * **剩余寿命**（Excess Life/Residual Life）：$Y(t) = S_{N(t)+1} - t$
  * **年龄**（Age）：$A(t) = t - S_{N(t)}$
  * **总寿命**：$U(t) = A(t) + Y(t) = S_{N(t)+1} - S_{N(t)} = T_{N(t)+1}$

==== 3.6.2 极限分布 ====

**定理3.10** 若 $F$ 不是格点分布，$\mu < \infty$，则：
$$\lim_{t \to \infty} P(Y(t) \leq x) = \frac{1}{\mu}\int_0^x [1 - F(s)]ds$$
$$\lim_{t \to \infty} P(A(t) \leq x) = \frac{1}{\mu}\int_0^x [1 - F(s)]ds$$

**证明（剩余寿命）**：设 $P(Y(t) > x)$ 并应用更新型方程。

令 $g(t) = P(Y(t) > x)$，对 $T_1$ 取条件：
$$g(t) = \int_0^{\infty} P(Y(t) > x | T_1 = s)dF(s)$$

当 $s > t$ 时，$Y(t) = s - t$，故 $P(Y(t) > x | T_1 = s) = 1_{\{s > t + x\}}$。

当 $s \leq t$ 时，过程从 $s$ 重新开始，$Y(t) = Y(t-s)$（在新的过程中）。

因此：
$$g(t) = 1 - F(t+x) + \int_0^t g(t-s)dF(s)$$

由关键更新定理：
$$\lim_{t \to \infty} g(t) = \frac{1}{\mu}\int_0^{\infty} [1 - F(s+x)]ds = \frac{1}{\mu}\int_x^{\infty} [1 - F(u)]du$$

所以：
$$\lim_{t \to \infty} P(Y(t) \leq x) = 1 - \frac{1}{\mu}\int_x^{\infty} [1 - F(u)]du = \frac{1}{\mu}\int_0^x [1 - F(s)]ds$$

==== 3.6.3 检验悖论 ====

注意总寿命的极限分布：
$$\lim_{t \to \infty} P(U(t) \leq x) = \frac{1}{\mu}\int_0^x s dF(s)$$

这不是 $F(x)$，而是**长度偏倚分布**！这就是**检验悖论**（Inspection Paradox）：随机检验一个更新间隔时，更可能遇到较长的间隔。

**例3.1** 设更新间隔 $T \sim U[0, 1]$，则 $\mu = 1/2$。剩余寿命的极限分布：
$$\lim_{t \to \infty} P(Y(t) \leq x) = 2\int_0^x (1-s)ds = 2x - x^2, \quad 0 \leq x \leq 1$$

===== 3.7 延迟更新过程 =====

**定义3.4（延迟更新过程）** 若第一个更新间隔 $T_1$ 的分布 $G$ 与后续更新间隔的分布 $F$ 不同，则称 $\{N(t)\}$ 为**延迟更新过程**（Delayed Renewal Process）。

当 $G$ 是平衡分布：
$$G(x) = \frac{1}{\mu}\int_0^x [1 - F(s)]ds$$
时，延迟更新过程称为**平衡更新过程**，此时 $m(t) = t/\mu$。

===== 3.8 交替更新过程 =====

**定义3.5（交替更新过程）** 设系统交替处于"开"和"关"两种状态。第 $n$ 个"开"期持续 $Z_n$，"关"期持续 $Y_n$，且 $\{(Z_n, Y_n)\}$ 独立同分布。定义：
$$T_n = Z_n + Y_n, \quad S_n = \sum_{i=1}^n T_i$$
则 $\{S_n\}$ 是更新过程，对应的系统称为**交替更新过程**。

**定理3.11** 设 $E[Z_n] = \mu_Z$，$E[Y_n] = \mu_Y$，$\mu = \mu_Z + \mu_Y < \infty$。若 $T_n$ 的分布非格点，则：
$$\lim_{t \to \infty} P(\text{系统在时刻 } t \text{ 为开}) = \frac{\mu_Z}{\mu_Z + \mu_Y}$$

**例3.2（可修系统）** 机器工作时间为 $Z_n \sim Exp(\lambda)$，修理时间为 $Y_n \sim Exp(\mu)$。则长期运行中，机器的可用度为：
$$A = \frac{1/\lambda}{1/\lambda + 1/\mu} = \frac{\mu}{\lambda + \mu}$$

===== 3.9 更新报酬过程 =====

**定义3.6（更新报酬过程）** 设 $\{(T_n, R_n)\}$ 是独立同分布的随机向量序列，其中 $T_n$ 是第 $n$ 个更新间隔，$R_n$ 是第 $n$ 个周期的报酬。定义累积报酬：
$$R(t) = \sum_{n=1}^{N(t)} R_n$$
则称 $\{R(t)\}$ 为**更新报酬过程**。

**定理3.12** 设 $E[T_1] = \mu < \infty$，$E[R_1] = r < \infty$，则：
$$\frac{R(t)}{t} \to \frac{r}{\mu} \quad \text{a.s.} \quad (t \to \infty)$$
$$\frac{E[R(t)]}{t} \to \frac{r}{\mu} \quad (t \to \infty)$$

这称为**更新报酬定理**，$r/\mu$ 表示长期平均报酬率。

===== 3.10 本章例题详解 =====

**例题1** 设更新间隔 $T$ 的分布为 $F(t) = 1 - e^{-\lambda t}(1 + \lambda t)$（Gamma(2, $\lambda$)分布），求更新函数 $m(t)$。

**解**：$T$ 是两个独立 $Exp(\lambda)$ 随机变量之和。利用泊松过程的性质，设 $N_0(t)$ 是速率为 $\lambda$ 的泊松过程，则：
$$N(t) = \left\lfloor \frac{N_0(t)}{2} \right\rfloor$$

或直接求解更新方程。$\tilde{F}(s) = \left(\frac{\lambda}{\lambda + s}\right)^2$，因此：
$$\tilde{m}(s) = \frac{\tilde{F}(s)}{1 - \tilde{F}(s)} = \frac{\lambda^2}{s(2\lambda + s)} = \frac{\lambda}{2s} - \frac{\lambda}{2(s + 2\lambda)}$$

反变换得：
$$m(t) = \frac{\lambda t}{2} - \frac{1 - e^{-2\lambda t}}{4}$$

**例题2** 设更新间隔的密度为 $f(t) = te^{-t}$（$t \geq 0$），求 $\lim_{t \to \infty} E[Y(t)]$。

**解**：这是Gamma(2,1)分布，$\mu = 2$。由极限分布：
$$\lim_{t \to \infty} E[Y(t)] = \frac{E[T^2]}{2\mu} = \frac{Var(T) + \mu^2}{2\mu} = \frac{2 + 4}{4} = \frac{3}{2}$$

**例题3** 某设备寿命 $T \sim U[0, 10]$（年），损坏后立即更换。

(1) 求长期平均更新率
(2) 求已使用3年后设备的剩余期望寿命

**解**：

(1) $\mu = 5$，长期平均更新率 = $1/\mu = 0.2$（次/年）

(2) 对于均匀分布，由无记忆性的缺乏：
$$\lim_{t \to \infty} E[Y(t)] = \frac{E[T^2]}{2\mu} = \frac{100/3}{10} = \frac{10}{3} \approx 3.33 \text{（年）}$$

===== 3.11 本章习题 =====

**习题3.1** 设更新间隔 $T$ 的分布为：$P(T = 1) = P(T = 2) = 1/2$。

(1) 求 $P(N(1) = k)$，$P(N(2) = k)$，$P(N(3) = k)$
(2) 计算 $m(1)$，$m(2)$，$m(3)$

**习题3.2** 设更新间隔 $T \sim Exp(\lambda)$，证明 $m(t) = \lambda t$。

**习题3.3** 设更新间隔 $T$ 满足 $P(T > t) = e^{-\lambda t}$ 对 $t \leq 1$，$P(T > t) = e^{-\lambda}$ 对 $t > 1$。

(1) 求 $\mu = E[T]$
(2) 求 $\lim_{t \to \infty} \frac{m(t)}{t}$

**习题3.4** 设 $\{N(t)\}$ 是更新过程，$\mu = E[T_1] < \infty$，$\sigma^2 = Var(T_1) < \infty$。

(1) 证明：$\frac{N(t) - t/\mu}{\sqrt{t}}$ 渐近正态 $N(0, \sigma^2/\mu^3)$
(2) 推导 $m(t) = \frac{t}{\mu} + \frac{\sigma^2 - \mu^2}{2\mu^2} + o(1)$（当 $t \to \infty$）

**习题3.5** 交替更新过程中，"开"期 $Z \sim Exp(\lambda)$，"关"期 $Y \sim Exp(\mu)$。

(1) 求系统在时刻 $t$ 处于"开"状态的概率的精确表达式
(2) 验证极限结果与定理3.11一致

**习题3.6** 设更新间隔 $T$ 的分布函数为 $F(t) = 1 - (1+t)e^{-t}$，$t \geq 0$。

(1) 求更新密度 $m'(t)$
(2) 求 $\lim_{t \to \infty} P(A(t) \leq x)$

**习题3.7** 设 $\{N(t)\}$ 是更新过程，每次更新产生报酬 $R_n$，$E[R_n] = r$，$Var(R_n) = \sigma_R^2$。

(1) 求 $E[R(t)]$
(2) 求 $Var(R(t))$

**习题3.8** （年龄更换策略）设备寿命 $T$ 的分布为 $F$。在设备损坏时或达到年龄 $a$ 时（以先发生者为准）进行更换。求长期平均成本率，设更换成本：故障更换为 $c_f$，预防更换为 $c_p < c_f$。

----

**上一章**：[[第二章_泊松过程]] | **下一章**：[[第四章_离散时间马尔可夫链]]