泊松过程中，到达时间间隔服从指数分布，具有无记忆性。然而在实际应用中，许多系统的组件寿命、设备故障间隔等并不服从指数分布。更新过程是泊松过程的推广，允许到达时间间隔服从任意分布。

典型应用：

• 设备更换策略：灯泡损坏后更换，更换间隔构成更新过程
• 库存管理：订货到达形成更新过程
• 排队系统：服务完成后顾客离开形成更新过程
• 保险风险：理赔到达时间的建模

定义3.1（更新过程） 设 $\{T_n, n \geq 1\}$ 是独立同分布的非负随机变量序列，分布函数为 $F(t)$，且 $F(0) < 1$。令： $$S_0 = 0, \quad S_n = \sum_{i=1}^n T_i, \quad n \geq 1$$ 定义计数过程： $$N(t) = \sup\{n: S_n \leq t\}, \quad t \geq 0$$ 则称 $\{N(t), t \geq 0\}$ 为更新过程（Renewal Process）。

其中：

• $T_n$ 称为第 $n$ 个更新间隔或寿命
• $S_n$ 称为第 $n$ 个更新时刻
• $N(t)$ 表示到时刻 $t$ 为止发生的更新次数

注：当 $T_n \sim Exp(\lambda)$ 时，更新过程退化为泊松过程。

定义3.2（更新函数） 更新过程 $\{N(t)\}$ 的更新函数定义为： $$m(t) = E[N(t)]$$

即更新次数的期望值。

定理3.1 更新函数可以表示为： $$m(t) = \sum_{n=1}^{\infty} F_n(t)$$ 其中 $F_n(t)$ 是 $S_n$ 的分布函数，即 $F$ 的 $n$ 重卷积。

证明： $$\begin{aligned} m(t) &= E[N(t)] = \sum_{n=1}^{\infty} P(N(t) \geq n) = \sum_{n=1}^{\infty} P(S_n \leq t)
&= \sum_{n=1}^{\infty} F_n(t) \end{aligned}$$

定理3.2 对任意 $t \geq 0$，$m(t) < \infty$。

证明：由于 $F(0) < 1$，存在 $\alpha > 0$ 使得 $F(\alpha) < 1$。利用独立同分布性质可以证明 $E[N(t)]$ 有限。

设 $\tilde{F}(s) = \int_0^{\infty} e^{-st}dF(t)$ 是 $F$ 的Laplace-Stieltjes变换，$\tilde{m}(s) = \int_0^{\infty} e^{-st}dm(t)$ 是 $m(t)$ 的Laplace-Stieltjes变换。

定理3.3 $$\tilde{m}(s) = \frac{\tilde{F}(s)}{1 - \tilde{F}(s)}$$

证明：由于 $F_n$ 是 $F$ 的 $n$ 重卷积，$\tilde{F}_n(s) = [\tilde{F}(s)]^n$。因此： $$\tilde{m}(s) = \sum_{n=1}^{\infty} [\tilde{F}(s)]^n = \frac{\tilde{F}(s)}{1 - \tilde{F}(s)}$$

定理3.4（更新方程） 更新函数满足以下更新方程： $$m(t) = F(t) + \int_0^t m(t-s)dF(s) = F(t) + (m * F)(t)$$ 或写成： $$m(t) = F(t) + E[m(t-T_1)]$$

证明：对第一次更新的时间 $T_1$ 取条件： $$\begin{aligned} m(t) &= E[N(t)] = E[E[N(t)|T_1]]
&= \int_0^{\infty} E[N(t)|T_1 = s]dF(s) \end{aligned}$$

当 $s > t$ 时，$E[N(t)|T_1 = s] = 0$。

当 $s \leq t$ 时，第一次更新在 $s$ 发生，之后的过程从 $s$ 重新开始： $$E[N(t)|T_1 = s] = 1 + E[N(t-s)] = 1 + m(t-s)$$

因此： $$m(t) = \int_0^t [1 + m(t-s)]dF(s) = F(t) + \int_0^t m(t-s)dF(s)$$

定义3.3 形如 $$g(t) = h(t) + \int_0^t g(t-s)dF(s)$$ 的方程称为更新型方程，其中 $h(t)$ 是已知函数，$g(t)$ 是未知函数。

定理3.5 若 $h(t)$ 有界，则更新型方程的唯一解为： $$g(t) = h(t) + \int_0^t h(t-s)dm(s) = h(t) + (h * m)(t)$$

设 $\mu = E[T_1] \leq \infty$ 是平均更新间隔。

定理3.6（更新的强大数定律） $$\frac{N(t)}{t} \to \frac{1}{\mu} \quad \text{a.s.} \quad (t \to \infty)$$ （当 $\mu = \infty$ 时，$1/\mu = 0$）

证明：由定义 $S_{N(t)} \leq t < S_{N(t)+1}$，因此： $$\frac{S_{N(t)}}{N(t)} \leq \frac{t}{N(t)} < \frac{S_{N(t)+1}}{N(t)}$$

由强大数定律，$S_n/n \to \mu$ a.s.。当 $t \to \infty$ 时，$N(t) \to \infty$ a.s.，因此： $$\frac{S_{N(t)}}{N(t)} \to \mu, \quad \frac{S_{N(t)+1}}{N(t)} = \frac{S_{N(t)+1}}{N(t)+1} \cdot \frac{N(t)+1}{N(t)} \to \mu$$

由夹逼定理，$t/N(t) \to \mu$，即 $N(t)/t \to 1/\mu$。

定理3.7（基本更新定理，Elementary Renewal Theorem） $$\frac{m(t)}{t} \to \frac{1}{\mu} \quad (t \to \infty)$$

注：不能由定理3.6直接推出，因为期望的极限不等于极限的期望。

定理3.8（Blackwell更新定理） 若 $F$ 不是格点分布，则对任意 $a > 0$： $$m(t+a) - m(t) \to \frac{a}{\mu} \quad (t \to \infty)$$

若 $F$ 是周期为 $d$ 的格点分布，则： $$m(nd) - (n-1)d) \to \frac{d}{\mu} \quad (n \to \infty)$$

这一定理说明在远离原点的长区间 $[t, t+a]$ 内，期望更新次数趋于 $a/\mu$。

定理3.9（关键更新定理，Key Renewal Theorem） 设 $h(t)$ 是直接Riemann可积函数，$F$ 不是格点分布，则： $$\lim_{t \to \infty} \int_0^t h(t-s)dm(s) = \frac{1}{\mu}\int_0^{\infty} h(s)ds$$

应用：利用关键更新定理可以求解各种极限问题。

在时刻 $t$，定义：

• 剩余寿命（Excess Life/Residual Life）：$Y(t) = S_{N(t)+1} - t$
• 年龄（Age）：$A(t) = t - S_{N(t)}$
• 总寿命：$U(t) = A(t) + Y(t) = S_{N(t)+1} - S_{N(t)} = T_{N(t)+1}$

定理3.10 若 $F$ 不是格点分布，$\mu < \infty$，则： $$\lim_{t \to \infty} P(Y(t) \leq x) = \frac{1}{\mu}\int_0^x [1 - F(s)]ds$$ $$\lim_{t \to \infty} P(A(t) \leq x) = \frac{1}{\mu}\int_0^x [1 - F(s)]ds$$

证明（剩余寿命）：设 $P(Y(t) > x)$ 并应用更新型方程。

令 $g(t) = P(Y(t) > x)$，对 $T_1$ 取条件： $$g(t) = \int_0^{\infty} P(Y(t) > x | T_1 = s)dF(s)$$

当 $s > t$ 时，$Y(t) = s - t$，故 $P(Y(t) > x | T_1 = s) = 1_{\{s > t + x\}}$。

当 $s \leq t$ 时，过程从 $s$ 重新开始，$Y(t) = Y(t-s)$（在新的过程中）。

因此： $$g(t) = 1 - F(t+x) + \int_0^t g(t-s)dF(s)$$

由关键更新定理： $$\lim_{t \to \infty} g(t) = \frac{1}{\mu}\int_0^{\infty} [1 - F(s+x)]ds = \frac{1}{\mu}\int_x^{\infty} [1 - F(u)]du$$

所以： $$\lim_{t \to \infty} P(Y(t) \leq x) = 1 - \frac{1}{\mu}\int_x^{\infty} [1 - F(u)]du = \frac{1}{\mu}\int_0^x [1 - F(s)]ds$$

注意总寿命的极限分布： $$\lim_{t \to \infty} P(U(t) \leq x) = \frac{1}{\mu}\int_0^x s dF(s)$$

这不是 $F(x)$，而是长度偏倚分布！这就是检验悖论（Inspection Paradox）：随机检验一个更新间隔时，更可能遇到较长的间隔。

例3.1 设更新间隔 $T \sim U[0, 1]$，则 $\mu = 1/2$。剩余寿命的极限分布： $$\lim_{t \to \infty} P(Y(t) \leq x) = 2\int_0^x (1-s)ds = 2x - x^2, \quad 0 \leq x \leq 1$$

定义3.4（延迟更新过程） 若第一个更新间隔 $T_1$ 的分布 $G$ 与后续更新间隔的分布 $F$ 不同，则称 $\{N(t)\}$ 为延迟更新过程（Delayed Renewal Process）。

当 $G$ 是平衡分布： $$G(x) = \frac{1}{\mu}\int_0^x [1 - F(s)]ds$$ 时，延迟更新过程称为平衡更新过程，此时 $m(t) = t/\mu$。

定义3.5（交替更新过程） 设系统交替处于“开”和“关”两种状态。第 $n$ 个“开”期持续 $Z_n$，“关”期持续 $Y_n$，且 $\{(Z_n, Y_n)\}$ 独立同分布。定义： $$T_n = Z_n + Y_n, \quad S_n = \sum_{i=1}^n T_i$$ 则 $\{S_n\}$ 是更新过程，对应的系统称为交替更新过程。

定理3.11 设 $E[Z_n] = \mu_Z$，$E[Y_n] = \mu_Y$，$\mu = \mu_Z + \mu_Y < \infty$。若 $T_n$ 的分布非格点，则： $$\lim_{t \to \infty} P(\text{系统在时刻 } t \text{ 为开}) = \frac{\mu_Z}{\mu_Z + \mu_Y}$$

例3.2（可修系统） 机器工作时间为 $Z_n \sim Exp(\lambda)$，修理时间为 $Y_n \sim Exp(\mu)$。则长期运行中，机器的可用度为： $$A = \frac{1/\lambda}{1/\lambda + 1/\mu} = \frac{\mu}{\lambda + \mu}$$

定义3.6（更新报酬过程） 设 $\{(T_n, R_n)\}$ 是独立同分布的随机向量序列，其中 $T_n$ 是第 $n$ 个更新间隔，$R_n$ 是第 $n$ 个周期的报酬。定义累积报酬： $$R(t) = \sum_{n=1}^{N(t)} R_n$$ 则称 $\{R(t)\}$ 为更新报酬过程。

定理3.12 设 $E[T_1] = \mu < \infty$，$E[R_1] = r < \infty$，则： $$\frac{R(t)}{t} \to \frac{r}{\mu} \quad \text{a.s.} \quad (t \to \infty)$$ $$\frac{E[R(t)]}{t} \to \frac{r}{\mu} \quad (t \to \infty)$$

这称为更新报酬定理，$r/\mu$ 表示长期平均报酬率。

例题1 设更新间隔 $T$ 的分布为 $F(t) = 1 - e^{-\lambda t}(1 + \lambda t)$（Gamma(2, $\lambda$)分布），求更新函数 $m(t)$。

解：$T$ 是两个独立 $Exp(\lambda)$ 随机变量之和。利用泊松过程的性质，设 $N_0(t)$ 是速率为 $\lambda$ 的泊松过程，则： $$N(t) = \left\lfloor \frac{N_0(t)}{2} \right\rfloor$$

或直接求解更新方程。$\tilde{F}(s) = \left(\frac{\lambda}{\lambda + s}\right)^2$，因此： $$\tilde{m}(s) = \frac{\tilde{F}(s)}{1 - \tilde{F}(s)} = \frac{\lambda^2}{s(2\lambda + s)} = \frac{\lambda}{2s} - \frac{\lambda}{2(s + 2\lambda)}$$

反变换得： $$m(t) = \frac{\lambda t}{2} - \frac{1 - e^{-2\lambda t}}{4}$$

例题2 设更新间隔的密度为 $f(t) = te^{-t}$（$t \geq 0$），求 $\lim_{t \to \infty} E[Y(t)]$。

解：这是Gamma(2,1)分布，$\mu = 2$。由极限分布： $$\lim_{t \to \infty} E[Y(t)] = \frac{E[T^2]}{2\mu} = \frac{Var(T) + \mu^2}{2\mu} = \frac{2 + 4}{4} = \frac{3}{2}$$

例题3 某设备寿命 $T \sim U[0, 10]$（年），损坏后立即更换。

(1) 求长期平均更新率 (2) 求已使用3年后设备的剩余期望寿命

解：

(1) $\mu = 5$，长期平均更新率 = $1/\mu = 0.2$（次/年）

(2) 对于均匀分布，由无记忆性的缺乏： $$\lim_{t \to \infty} E[Y(t)] = \frac{E[T^2]}{2\mu} = \frac{100/3}{10} = \frac{10}{3} \approx 3.33 \text{（年）}$$

习题3.1 设更新间隔 $T$ 的分布为：$P(T = 1) = P(T = 2) = 1/2$。

(1) 求 $P(N(1) = k)$，$P(N(2) = k)$，$P(N(3) = k)$ (2) 计算 $m(1)$，$m(2)$，$m(3)$

习题3.2 设更新间隔 $T \sim Exp(\lambda)$，证明 $m(t) = \lambda t$。

习题3.3 设更新间隔 $T$ 满足 $P(T > t) = e^{-\lambda t}$ 对 $t \leq 1$，$P(T > t) = e^{-\lambda}$ 对 $t > 1$。

(1) 求 $\mu = E[T]$ (2) 求 $\lim_{t \to \infty} \frac{m(t)}{t}$

习题3.4 设 $\{N(t)\}$ 是更新过程，$\mu = E[T_1] < \infty$，$\sigma^2 = Var(T_1) < \infty$。

(1) 证明：$\frac{N(t) - t/\mu}{\sqrt{t}}$ 渐近正态 $N(0, \sigma^2/\mu^3)$ (2) 推导 $m(t) = \frac{t}{\mu} + \frac{\sigma^2 - \mu^2}{2\mu^2} + o(1)$（当 $t \to \infty$）

习题3.5 交替更新过程中，“开”期 $Z \sim Exp(\lambda)$，“关”期 $Y \sim Exp(\mu)$。

(1) 求系统在时刻 $t$ 处于“开”状态的概率的精确表达式 (2) 验证极限结果与定理3.11一致

习题3.6 设更新间隔 $T$ 的分布函数为 $F(t) = 1 - (1+t)e^{-t}$，$t \geq 0$。

(1) 求更新密度 $m'(t)$ (2) 求 $\lim_{t \to \infty} P(A(t) \leq x)$

习题3.7 设 $\{N(t)\}$ 是更新过程，每次更新产生报酬 $R_n$，$E[R_n] = r$，$Var(R_n) = \sigma_R^2$。

(1) 求 $E[R(t)]$ (2) 求 $Var(R(t))$

习题3.8 （年龄更换策略）设备寿命 $T$ 的分布为 $F$。在设备损坏时或达到年龄 $a$ 时（以先发生者为准）进行更换。求长期平均成本率，设更换成本：故障更换为 $c_f$，预防更换为 $c_p < c_f$。

上一章：第二章_泊松过程 | 下一章：第四章_离散时间马尔可夫链