第一章 随机过程的基本概念

随机过程是研究随时间演变的随机现象的数学理论。在自然界和人类社会中，许多现象都具有随机性和动态性两大特征。例如，股票价格的波动、通信信号的变化、服务系统中顾客的到达与离开、放射性物质的衰变等，这些现象都涉及随机变量随时间的演化规律。

例1.1（股票价格） 设 $X(t)$ 表示某股票在时刻 $t$ 的价格。由于市场的不确定性，$X(t)$ 是一个随机变量。对于不同的时刻 $t_1, t_2, \ldots, t_n$，我们得到一族随机变量 $\{X(t), t \geq 0\}$，这就是一个随机过程。

例1.2（服务系统） 考虑一个银行柜台，设 $N(t)$ 表示在时间区间 $[0, t]$ 内到达的顾客数。则 $\{N(t), t \geq 0\}$ 是一个随机过程，称为计数过程。

例1.3（随机游动） 一个质点在整数点上做随机游动：每单位时间以概率 $p$ 向右移动一步，以概率 $q = 1-p$ 向左移动一步。设 $X_n$ 表示时刻 $n$ 质点的位置，则 $\{X_n, n = 0, 1, 2, \ldots\}$ 是一个随机过程。

定义1.1（随机过程） 设 $(\Omega, \mathcal{F}, P)$ 是一个概率空间，$T$ 是一个参数集合（通常表示时间）。如果对每个 $t \in T$，$X(t, \cdot)$ 是定义在 $\Omega$ 上的随机变量，则称随机变量族 $\{X(t, \omega), t \in T, \omega \in \Omega\}$ 为随机过程（Stochastic Process），简记为 $\{X(t), t \in T\}$ 或 $\{X_t, t \in T\}$。

在上述定义中：

• $T$ 称为参数集或指标集，可以是离散的（如 $T = \{0, 1, 2, \ldots\}$）或连续的（如 $T = [0, +\infty)$）
• $X(t)$ 对每个固定的 $t$ 是随机变量，称为过程在时刻 $t$ 的状态
• $X(t)$ 所有可能取值的集合称为状态空间，记为 $S$

定义1.2（样本路径） 对于固定的 $\omega \in \Omega$，函数 $X(\cdot, \omega): T \to S$ 称为随机过程的样本路径（Sample Path）、轨道（Trajectory）或实现（Realization）。

样本路径描述了随机过程的一次具体实现。研究样本路径的性质（如连续性、可微性）是随机过程理论的重要内容。

例1.4 考虑掷硬币实验：设 $X_n$ 表示第 $n$ 次掷硬币的结果（正面为1，反面为0），则每个样本路径是0-1序列，如 $(1, 0, 1, 1, 0, \ldots)$。

随机过程的统计特性由其有限维分布完全确定。

定义1.3（有限维分布） 设 $\{X(t), t \in T\}$ 是随机过程，对任意正整数 $n$ 和任意 $t_1, t_2, \ldots, t_n \in T$，随机向量 $(X(t_1), X(t_2), \ldots, X(t_n))$ 的联合分布函数 $$F_{t_1, t_2, \ldots, t_n}(x_1, x_2, \ldots, x_n) = P(X(t_1) \leq x_1, X(t_2) \leq x_2, \ldots, X(t_n) \leq x_n)$$ 称为随机过程的$n$维分布函数。所有这些有限维分布函数的集合称为有限维分布族。

定理1.1（Kolmogorov存在定理） 设 $\{F_{t_1, \ldots, t_n}: n \geq 1, t_i \in T\}$ 是一族满足以下对称性和相容性条件的分布函数：

• 对称性：对 $(1, 2, \ldots, n)$ 的任意排列 $(i_1, i_2, \ldots, i_n)$，

$$F_{t_{i_1}, \ldots, t_{i_n}}(x_{i_1}, \ldots, x_{i_n}) = F_{t_1, \ldots, t_n}(x_1, \ldots, x_n)$$

• 相容性：对任意 $m < n$，

$$F_{t_1, \ldots, t_m, t_{m+1}, \ldots, t_n}(x_1, \ldots, x_m, +\infty, \ldots, +\infty) = F_{t_1, \ldots, t_m}(x_1, \ldots, x_m)$$

则存在一个概率空间 $(\Omega, \mathcal{F}, P)$ 和其上的随机过程 $\{X(t), t \in T\}$，使得其有限维分布族恰好是给定的分布函数族。

例1.5 设 $\{X(t), t \geq 0\}$ 是随机过程，其中 $X(t) = A \cos(\omega t + \Theta)$，$A$ 和 $\omega$ 是常数，$\Theta \sim U[0, 2\pi]$。求其一维和二维分布。

解：

(1) 一维分布：对于固定的 $t$，$X(t) = A \cos(\omega t + \Theta)$。由于 $\Theta \sim U[0, 2\pi]$，通过变换可得 $X(t)$ 的密度函数为： $$f_{X(t)}(x) = \frac{1}{\pi \sqrt{A^2 - x^2}}, \quad |x| < A$$

(2) 二维分布：对于 $t_1, t_2$，考虑 $(X(t_1), X(t_2))$ 的联合分布。利用三角恒等式： $$X(t_1) = A \cos(\omega t_1 + \Theta), \quad X(t_2) = A \cos(\omega t_2 + \Theta)$$

令 $\phi = \omega t_1 + \Theta$，则 $X(t_2) = A \cos(\phi + \omega(t_2 - t_1))$。通过Jacobian变换可求得联合密度。

定义1.4（均值函数） 随机过程 $\{X(t), t \in T\}$ 的均值函数定义为： $$\mu_X(t) = E[X(t)], \quad t \in T$$

定义1.5（方差函数） 随机过程的方差函数定义为： $$\sigma_X^2(t) = Var(X(t)) = E[(X(t) - \mu_X(t))^2], \quad t \in T$$ 标准差函数为 $\sigma_X(t) = \sqrt{Var(X(t))}$。

定义1.6（自协方差函数） 随机过程的自协方差函数定义为： $$C_X(s, t) = Cov(X(s), X(t)) = E[(X(s) - \mu_X(s))(X(t) - \mu_X(t))]$$

定义1.7（自相关函数） 随机过程的自相关函数定义为： $$R_X(s, t) = E[X(s)X(t)]$$

两者关系：$C_X(s, t) = R_X(s, t) - \mu_X(s)\mu_X(t)$

定义1.8（相关系数函数） $$\rho_X(s, t) = \frac{C_X(s, t)}{\sigma_X(s)\sigma_X(t)}$$

对于两个随机过程 $\{X(t)\}$ 和 $\{Y(t)\}$：

定义1.9（互协方差函数） $$C_{XY}(s, t) = Cov(X(s), Y(t))$$

定义1.10（互相关函数） $$R_{XY}(s, t) = E[X(s)Y(t)]$$

例1.6 设 $X(t) = A \cos(\omega t) + B \sin(\omega t)$，其中 $A, B$ 独立，$E[A] = E[B] = 0$，$Var(A) = Var(B) = \sigma^2$。求数字特征。

解：

均值函数： $$\mu_X(t) = E[A]\cos(\omega t) + E[B]\sin(\omega t) = 0$$

自相关函数： $$\begin{aligned} R_X(s, t) &= E[(A \cos(\omega s) + B \sin(\omega s))(A \cos(\omega t) + B \sin(\omega t))]
&= E[A^2]\cos(\omega s)\cos(\omega t) + E[B^2]\sin(\omega s)\sin(\omega t)
&= \sigma^2(\cos(\omega s)\cos(\omega t) + \sin(\omega s)\sin(\omega t))
&= \sigma^2 \cos(\omega(s-t)) \end{aligned}$$

自协方差函数： $$C_X(s, t) = R_X(s, t) - \mu_X(s)\mu_X(t) = \sigma^2 \cos(\omega(s-t))$$

方差函数： $$\sigma_X^2(t) = C_X(t, t) = \sigma^2$$

• 连续时间随机过程：$T$ 是区间（如 $[0, +\infty)$）
• 离散时间随机过程（随机序列）：$T$ 是可列集（如 $\{0, 1, 2, \ldots\}$）

• 连续状态随机过程：状态空间 $S$ 是不可数集（如 $\mathbb{R}$）
• 离散状态随机过程（链）：状态空间 $S$ 是可列集或有限集

• 严平稳过程：所有有限维分布对时间平移不变
• 宽平稳过程：均值恒定，协方差函数仅依赖于时间差
• 独立增量过程：不相交区间上的增量相互独立
• 平稳增量过程：增量的分布仅依赖于区间长度

定义1.11（严平稳） 随机过程 $\{X(t), t \in T\}$ 称为严平稳（Strictly Stationary）的，如果对任意正整数 $n$，任意 $t_1, \ldots, t_n \in T$ 和任意使 $t_1 + \tau, \ldots, t_n + \tau \in T$ 的 $\tau$，有： $$(X(t_1), \ldots, X(t_n)) \stackrel{d}{=} (X(t_1 + \tau), \ldots, X(t_n + \tau))$$

定义1.12（宽平稳） 随机过程 $\{X(t), t \in T\}$ 称为宽平稳（Wide-Sense Stationary, WSS）的，如果：

• $\mu_X(t) = \mu$（常数）
• $C_X(s, t) = C_X(s - t)$（仅依赖于时间差）

定理1.2 具有有限二阶矩的严平稳过程必是宽平稳过程。反之一般不成立。

定义1.13（独立增量） 随机过程 $\{X(t), t \geq 0\}$ 称为独立增量过程，如果对任意 $0 \leq t_0 < t_1 < \cdots < t_n$，增量 $X(t_1) - X(t_0), X(t_2) - X(t_1), \ldots, X(t_n) - X(t_{n-1})$ 相互独立。

定义1.14（平稳增量） 随机过程 $\{X(t), t \geq 0\}$ 称为平稳增量过程，如果对任意 $s, t \geq 0$，$X(t+s) - X(t)$ 的分布仅依赖于 $s$，而不依赖于 $t$。

定义1.15（正态过程） 随机过程 $\{X(t), t \in T\}$ 称为正态过程或高斯过程，如果对任意正整数 $n$ 和任意 $t_1, \ldots, t_n \in T$，随机向量 $(X(t_1), \ldots, X(t_n))$ 服从 $n$ 维正态分布。

高斯过程完全由其均值函数 $\mu_X(t)$ 和协方差函数 $C_X(s, t)$ 确定。

例1.7（布朗运动） 布朗运动是正态过程，是最重要的随机过程之一。

定义1.16（维纳过程） 随机过程 $\{W(t), t \geq 0\}$ 称为维纳过程（Wiener Process）或标准布朗运动，如果满足：

• $W(0) = 0$
• 具有独立增量
• 具有平稳增量，且 $W(t) - W(s) \sim N(0, t-s)$ 对 $t > s$
• 样本路径连续

定义1.17（泊松过程） 计数过程 $\{N(t), t \geq 0\}$ 称为泊松过程，如果满足：

• $N(0) = 0$
• 具有独立增量
• 具有平稳增量，且对任意 $t, s \geq 0$，$N(t+s) - N(t) \sim Poisson(\lambda s)$

例题1 设 $X(t) = Y \cos(\omega t + \Theta)$，其中 $Y$ 是随机变量，$\Theta \sim U[0, 2\pi]$ 且与 $Y$ 独立，$\omega$ 是常数。

(1) 求 $\mu_X(t)$ 和 $C_X(s, t)$ (2) 若 $Y \sim N(0, \sigma^2)$，求 $X(t)$ 的一维分布

解：

(1) $$\mu_X(t) = E[Y \cos(\omega t + \Theta)] = E[Y] \cdot E[\cos(\omega t + \Theta)]$$

由于 $\Theta \sim U[0, 2\pi]$： $$E[\cos(\omega t + \Theta)] = \frac{1}{2\pi}\int_0^{2\pi} \cos(\omega t + \theta) d\theta = 0$$

所以 $\mu_X(t) = 0$。

$$\begin{aligned} C_X(s, t) &= E[X(s)X(t)] = E[Y^2 \cos(\omega s + \Theta)\cos(\omega t + \Theta)]
&= E[Y^2] \cdot E[\cos(\omega s + \Theta)\cos(\omega t + \Theta)] \end{aligned}$$

利用积化和差： $$E[\cos(\omega s + \Theta)\cos(\omega t + \Theta)] = \frac{1}{2}E[\cos(\omega(s-t)) + \cos(\omega(s+t) + 2\Theta)] = \frac{1}{2}\cos(\omega(s-t))$$

所以： $$C_X(s, t) = \frac{1}{2}E[Y^2]\cos(\omega(s-t))$$

(2) 若 $Y \sim N(0, \sigma^2)$，则给定 $Y = y$ 时，$X(t) = y\cos(\omega t + \Theta)$。通过条件期望可证 $X(t) \sim N(0, \sigma^2/2)$。

例题2 证明：独立增量过程的协方差函数满足 $C_X(s, t) = Var(X(\min(s, t)))$。

证明：设 $s \leq t$，则： $$\begin{aligned} C_X(s, t) &= Cov(X(s), X(t)) = Cov(X(s), X(s) + (X(t) - X(s)))
&= Cov(X(s), X(s)) + Cov(X(s), X(t) - X(s))
&= Var(X(s)) + 0 = Var(X(s)) \end{aligned}$$

其中利用了独立增量性。同理可证 $s > t$ 的情况。

习题1.1 设 $\{X_n, n \geq 0\}$ 是随机序列，$X_0 = 0$，$X_n = \sum_{k=1}^n \xi_k$，其中 $\{\xi_k\}$ 独立同分布，$P(\xi_k = 1) = p$，$P(\xi_k = -1) = q = 1-p$。

(1) 求 $X_n$ 的分布列 (2) 求 $E[X_n]$ 和 $Var(X_n)$ (3) 求 $Cov(X_m, X_n)$ 对 $m \leq n$

习题1.2 设 $X(t) = A + Bt$，其中 $A, B$ 独立，$A \sim N(0, 1)$，$B \sim N(0, 4)$。

(1) 求均值函数和协方差函数 (2) 求 $X(1)$ 和 $X(2)$ 的联合分布 (3) 求 $P(X(1) > 1)$

习题1.3 设 $\{N(t), t \geq 0\}$ 是泊松过程，参数为 $\lambda$。定义 $X(t) = N(t+1) - N(t)$。

(1) 证明 $\{X(t), t \geq 0\}$ 是严平稳过程 (2) 求 $X(t)$ 的均值和方差 (3) 求 $Cov(X(s), X(t))$

习题1.4 设 $X(t) = e^{-t}W(e^{2t})$，其中 $\{W(t), t \geq 0\}$ 是标准维纳过程。

(1) 求均值函数和协方差函数 (2) 证明这是宽平稳过程

习题1.5 证明：若 $\{X(t)\}$ 是正态过程，则严平稳与宽平稳等价。

习题1.6 设 $\{X(t), t \in \mathbb{R}\}$ 是宽平稳过程，均值为 $\mu$，协方差函数为 $C(\tau)$。证明： $$\lim_{T \to \infty} E\left[\left(\frac{1}{2T}\int_{-T}^T X(t)dt - \mu\right)^2\right] = \lim_{T \to \infty} \frac{1}{T}\int_0^{2T} C(\tau)\left(1 - \frac{\tau}{2T}\right)d\tau$$

习题1.7 设 $\{X_n, n \geq 0\}$ 是马尔可夫链，状态空间为 $\{0, 1\}$，转移概率 $p_{01} = p_{10} = 1$。设 $X_0 = 0$，定义 $Y_n = X_n + X_{n+1}$。

(1) 求 $\{Y_n\}$ 的有限维分布 (2) 这是严平稳过程吗？

习题1.8 设 $\{X(t), t \geq 0\}$ 是随机过程，$X(t) = U + Vt$，其中 $U, V$ 是随机变量，相关系数为 $\rho$。

(1) 求 $X(t)$ 为宽平稳过程的条件 (2) 在此条件下，求自相关函数

上一章：随机过程 | 下一章：第二章_泊松过程