张叶安的小站

本页面只读。您可以查看源文件，但不能更改它。如果您觉得这是系统错误，请联系管理员。
====== 第一章 随机过程的基本概念 ======

===== 1.1 引言 =====

随机过程是研究随时间演变的随机现象的数学理论。在自然界和人类社会中，许多现象都具有随机性和动态性两大特征。例如，股票价格的波动、通信信号的变化、服务系统中顾客的到达与离开、放射性物质的衰变等，这些现象都涉及随机变量随时间的演化规律。

**例1.1（股票价格）** 设 $X(t)$ 表示某股票在时刻 $t$ 的价格。由于市场的不确定性，$X(t)$ 是一个随机变量。对于不同的时刻 $t_1, t_2, \ldots, t_n$，我们得到一族随机变量 $\{X(t), t \geq 0\}$，这就是一个随机过程。

**例1.2（服务系统）** 考虑一个银行柜台，设 $N(t)$ 表示在时间区间 $[0, t]$ 内到达的顾客数。则 $\{N(t), t \geq 0\}$ 是一个随机过程，称为**计数过程**。

**例1.3（随机游动）** 一个质点在整数点上做随机游动：每单位时间以概率 $p$ 向右移动一步，以概率 $q = 1-p$ 向左移动一步。设 $X_n$ 表示时刻 $n$ 质点的位置，则 $\{X_n, n = 0, 1, 2, \ldots\}$ 是一个随机过程。

===== 1.2 随机过程的定义 =====

==== 1.2.1 定义 ====

**定义1.1（随机过程）** 设 $(\Omega, \mathcal{F}, P)$ 是一个概率空间，$T$ 是一个参数集合（通常表示时间）。如果对每个 $t \in T$，$X(t, \cdot)$ 是定义在 $\Omega$ 上的随机变量，则称随机变量族 $\{X(t, \omega), t \in T, \omega \in \Omega\}$ 为**随机过程**（Stochastic Process），简记为 $\{X(t), t \in T\}$ 或 $\{X_t, t \in T\}$。

在上述定义中：
  * $T$ 称为**参数集**或**指标集**，可以是离散的（如 $T = \{0, 1, 2, \ldots\}$）或连续的（如 $T = [0, +\infty)$）
  * $X(t)$ 对每个固定的 $t$ 是随机变量，称为过程在时刻 $t$ 的**状态**
  * $X(t)$ 所有可能取值的集合称为**状态空间**，记为 $S$

==== 1.2.2 样本路径 ====

**定义1.2（样本路径）** 对于固定的 $\omega \in \Omega$，函数 $X(\cdot, \omega): T \to S$ 称为随机过程的**样本路径**（Sample Path）、**轨道**（Trajectory）或**实现**（Realization）。

样本路径描述了随机过程的一次具体实现。研究样本路径的性质（如连续性、可微性）是随机过程理论的重要内容。

**例1.4** 考虑掷硬币实验：设 $X_n$ 表示第 $n$ 次掷硬币的结果（正面为1，反面为0），则每个样本路径是0-1序列，如 $(1, 0, 1, 1, 0, \ldots)$。

===== 1.3 有限维分布 =====

==== 1.3.1 有限维分布族 ====

随机过程的统计特性由其有限维分布完全确定。

**定义1.3（有限维分布）** 设 $\{X(t), t \in T\}$ 是随机过程，对任意正整数 $n$ 和任意 $t_1, t_2, \ldots, t_n \in T$，随机向量 $(X(t_1), X(t_2), \ldots, X(t_n))$ 的联合分布函数
$$F_{t_1, t_2, \ldots, t_n}(x_1, x_2, \ldots, x_n) = P(X(t_1) \leq x_1, X(t_2) \leq x_2, \ldots, X(t_n) \leq x_n)$$
称为随机过程的**$n$维分布函数**。所有这些有限维分布函数的集合称为**有限维分布族**。

**定理1.1（Kolmogorov存在定理）** 设 $\{F_{t_1, \ldots, t_n}: n \geq 1, t_i \in T\}$ 是一族满足以下对称性和相容性条件的分布函数：

  * **对称性**：对 $(1, 2, \ldots, n)$ 的任意排列 $(i_1, i_2, \ldots, i_n)$，
$$F_{t_{i_1}, \ldots, t_{i_n}}(x_{i_1}, \ldots, x_{i_n}) = F_{t_1, \ldots, t_n}(x_1, \ldots, x_n)$$

  * **相容性**：对任意 $m < n$，
$$F_{t_1, \ldots, t_m, t_{m+1}, \ldots, t_n}(x_1, \ldots, x_m, +\infty, \ldots, +\infty) = F_{t_1, \ldots, t_m}(x_1, \ldots, x_m)$$

则存在一个概率空间 $(\Omega, \mathcal{F}, P)$ 和其上的随机过程 $\{X(t), t \in T\}$，使得其有限维分布族恰好是给定的分布函数族。

==== 1.3.2 有限维分布的计算 ====

**例1.5** 设 $\{X(t), t \geq 0\}$ 是随机过程，其中 $X(t) = A \cos(\omega t + \Theta)$，$A$ 和 $\omega$ 是常数，$\Theta \sim U[0, 2\pi]$。求其一维和二维分布。

**解**：

(1) 一维分布：对于固定的 $t$，$X(t) = A \cos(\omega t + \Theta)$。由于 $\Theta \sim U[0, 2\pi]$，通过变换可得 $X(t)$ 的密度函数为：
$$f_{X(t)}(x) = \frac{1}{\pi \sqrt{A^2 - x^2}}, \quad |x| < A$$

(2) 二维分布：对于 $t_1, t_2$，考虑 $(X(t_1), X(t_2))$ 的联合分布。利用三角恒等式：
$$X(t_1) = A \cos(\omega t_1 + \Theta), \quad X(t_2) = A \cos(\omega t_2 + \Theta)$$

令 $\phi = \omega t_1 + \Theta$，则 $X(t_2) = A \cos(\phi + \omega(t_2 - t_1))$。通过Jacobian变换可求得联合密度。

===== 1.4 数字特征 =====

==== 1.4.1 均值函数与方差函数 ====

**定义1.4（均值函数）** 随机过程 $\{X(t), t \in T\}$ 的**均值函数**定义为：
$$\mu_X(t) = E[X(t)], \quad t \in T$$

**定义1.5（方差函数）** 随机过程的**方差函数**定义为：
$$\sigma_X^2(t) = Var(X(t)) = E[(X(t) - \mu_X(t))^2], \quad t \in T$$
**标准差函数**为 $\sigma_X(t) = \sqrt{Var(X(t))}$。

==== 1.4.2 协方差函数与相关函数 ====

**定义1.6（自协方差函数）** 随机过程的**自协方差函数**定义为：
$$C_X(s, t) = Cov(X(s), X(t)) = E[(X(s) - \mu_X(s))(X(t) - \mu_X(t))]$$

**定义1.7（自相关函数）** 随机过程的**自相关函数**定义为：
$$R_X(s, t) = E[X(s)X(t)]$$

两者关系：$C_X(s, t) = R_X(s, t) - \mu_X(s)\mu_X(t)$

**定义1.8（相关系数函数）** 
$$\rho_X(s, t) = \frac{C_X(s, t)}{\sigma_X(s)\sigma_X(t)}$$

==== 1.4.3 互相关特性 ====

对于两个随机过程 $\{X(t)\}$ 和 $\{Y(t)\}$：

**定义1.9（互协方差函数）**
$$C_{XY}(s, t) = Cov(X(s), Y(t))$$

**定义1.10（互相关函数）**
$$R_{XY}(s, t) = E[X(s)Y(t)]$$

**例1.6** 设 $X(t) = A \cos(\omega t) + B \sin(\omega t)$，其中 $A, B$ 独立，$E[A] = E[B] = 0$，$Var(A) = Var(B) = \sigma^2$。求数字特征。

**解**：

均值函数：
$$\mu_X(t) = E[A]\cos(\omega t) + E[B]\sin(\omega t) = 0$$

自相关函数：
$$\begin{aligned}
R_X(s, t) &= E[(A \cos(\omega s) + B \sin(\omega s))(A \cos(\omega t) + B \sin(\omega t))] \\
&= E[A^2]\cos(\omega s)\cos(\omega t) + E[B^2]\sin(\omega s)\sin(\omega t) \\
&= \sigma^2(\cos(\omega s)\cos(\omega t) + \sin(\omega s)\sin(\omega t)) \\
&= \sigma^2 \cos(\omega(s-t))
\end{aligned}$$

自协方差函数：
$$C_X(s, t) = R_X(s, t) - \mu_X(s)\mu_X(t) = \sigma^2 \cos(\omega(s-t))$$

方差函数：
$$\sigma_X^2(t) = C_X(t, t) = \sigma^2$$

===== 1.5 随机过程的分类 =====

==== 1.5.1 按参数集分类 ====

  * **连续时间随机过程**：$T$ 是区间（如 $[0, +\infty)$）
  * **离散时间随机过程**（随机序列）：$T$ 是可列集（如 $\{0, 1, 2, \ldots\}$）

==== 1.5.2 按状态空间分类 ====

  * **连续状态随机过程**：状态空间 $S$ 是不可数集（如 $\mathbb{R}$）
  * **离散状态随机过程**（链）：状态空间 $S$ 是可列集或有限集

==== 1.5.3 按统计特性分类 ====

  * **严平稳过程**：所有有限维分布对时间平移不变
  * **宽平稳过程**：均值恒定，协方差函数仅依赖于时间差
  * **独立增量过程**：不相交区间上的增量相互独立
  * **平稳增量过程**：增量的分布仅依赖于区间长度

**定义1.11（严平稳）** 随机过程 $\{X(t), t \in T\}$ 称为**严平稳**（Strictly Stationary）的，如果对任意正整数 $n$，任意 $t_1, \ldots, t_n \in T$ 和任意使 $t_1 + \tau, \ldots, t_n + \tau \in T$ 的 $\tau$，有：
$$(X(t_1), \ldots, X(t_n)) \stackrel{d}{=} (X(t_1 + \tau), \ldots, X(t_n + \tau))$$

**定义1.12（宽平稳）** 随机过程 $\{X(t), t \in T\}$ 称为**宽平稳**（Wide-Sense Stationary, WSS）的，如果：
  * $\mu_X(t) = \mu$（常数）
  * $C_X(s, t) = C_X(s - t)$（仅依赖于时间差）

**定理1.2** 具有有限二阶矩的严平稳过程必是宽平稳过程。反之一般不成立。

**定义1.13（独立增量）** 随机过程 $\{X(t), t \geq 0\}$ 称为**独立增量过程**，如果对任意 $0 \leq t_0 < t_1 < \cdots < t_n$，增量 $X(t_1) - X(t_0), X(t_2) - X(t_1), \ldots, X(t_n) - X(t_{n-1})$ 相互独立。

**定义1.14（平稳增量）** 随机过程 $\{X(t), t \geq 0\}$ 称为**平稳增量过程**，如果对任意 $s, t \geq 0$，$X(t+s) - X(t)$ 的分布仅依赖于 $s$，而不依赖于 $t$。

===== 1.6 典型随机过程 =====

==== 1.6.1 正态过程（高斯过程） ====

**定义1.15（正态过程）** 随机过程 $\{X(t), t \in T\}$ 称为**正态过程**或**高斯过程**，如果对任意正整数 $n$ 和任意 $t_1, \ldots, t_n \in T$，随机向量 $(X(t_1), \ldots, X(t_n))$ 服从 $n$ 维正态分布。

高斯过程完全由其均值函数 $\mu_X(t)$ 和协方差函数 $C_X(s, t)$ 确定。

**例1.7（布朗运动）** 布朗运动是正态过程，是最重要的随机过程之一。

==== 1.6.2 维纳过程 ====

**定义1.16（维纳过程）** 随机过程 $\{W(t), t \geq 0\}$ 称为**维纳过程**（Wiener Process）或**标准布朗运动**，如果满足：
  * $W(0) = 0$
  * 具有独立增量
  * 具有平稳增量，且 $W(t) - W(s) \sim N(0, t-s)$ 对 $t > s$
  * 样本路径连续

==== 1.6.3 泊松过程 ====

**定义1.17（泊松过程）** 计数过程 $\{N(t), t \geq 0\}$ 称为**泊松过程**，如果满足：
  * $N(0) = 0$
  * 具有独立增量
  * 具有平稳增量，且对任意 $t, s \geq 0$，$N(t+s) - N(t) \sim Poisson(\lambda s)$

===== 1.7 本章例题详解 =====

**例题1** 设 $X(t) = Y \cos(\omega t + \Theta)$，其中 $Y$ 是随机变量，$\Theta \sim U[0, 2\pi]$ 且与 $Y$ 独立，$\omega$ 是常数。

(1) 求 $\mu_X(t)$ 和 $C_X(s, t)$
(2) 若 $Y \sim N(0, \sigma^2)$，求 $X(t)$ 的一维分布

**解**：

(1) 
$$\mu_X(t) = E[Y \cos(\omega t + \Theta)] = E[Y] \cdot E[\cos(\omega t + \Theta)]$$

由于 $\Theta \sim U[0, 2\pi]$：
$$E[\cos(\omega t + \Theta)] = \frac{1}{2\pi}\int_0^{2\pi} \cos(\omega t + \theta) d\theta = 0$$

所以 $\mu_X(t) = 0$。

$$\begin{aligned}
C_X(s, t) &= E[X(s)X(t)] = E[Y^2 \cos(\omega s + \Theta)\cos(\omega t + \Theta)] \\
&= E[Y^2] \cdot E[\cos(\omega s + \Theta)\cos(\omega t + \Theta)]
\end{aligned}$$

利用积化和差：
$$E[\cos(\omega s + \Theta)\cos(\omega t + \Theta)] = \frac{1}{2}E[\cos(\omega(s-t)) + \cos(\omega(s+t) + 2\Theta)] = \frac{1}{2}\cos(\omega(s-t))$$

所以：
$$C_X(s, t) = \frac{1}{2}E[Y^2]\cos(\omega(s-t))$$

(2) 若 $Y \sim N(0, \sigma^2)$，则给定 $Y = y$ 时，$X(t) = y\cos(\omega t + \Theta)$。通过条件期望可证 $X(t) \sim N(0, \sigma^2/2)$。

**例题2** 证明：独立增量过程的协方差函数满足 $C_X(s, t) = Var(X(\min(s, t)))$。

**证明**：设 $s \leq t$，则：
$$\begin{aligned}
C_X(s, t) &= Cov(X(s), X(t)) = Cov(X(s), X(s) + (X(t) - X(s))) \\
&= Cov(X(s), X(s)) + Cov(X(s), X(t) - X(s)) \\
&= Var(X(s)) + 0 = Var(X(s))
\end{aligned}$$

其中利用了独立增量性。同理可证 $s > t$ 的情况。

===== 1.8 本章习题 =====

**习题1.1** 设 $\{X_n, n \geq 0\}$ 是随机序列，$X_0 = 0$，$X_n = \sum_{k=1}^n \xi_k$，其中 $\{\xi_k\}$ 独立同分布，$P(\xi_k = 1) = p$，$P(\xi_k = -1) = q = 1-p$。

(1) 求 $X_n$ 的分布列
(2) 求 $E[X_n]$ 和 $Var(X_n)$
(3) 求 $Cov(X_m, X_n)$ 对 $m \leq n$

**习题1.2** 设 $X(t) = A + Bt$，其中 $A, B$ 独立，$A \sim N(0, 1)$，$B \sim N(0, 4)$。

(1) 求均值函数和协方差函数
(2) 求 $X(1)$ 和 $X(2)$ 的联合分布
(3) 求 $P(X(1) > 1)$

**习题1.3** 设 $\{N(t), t \geq 0\}$ 是泊松过程，参数为 $\lambda$。定义 $X(t) = N(t+1) - N(t)$。

(1) 证明 $\{X(t), t \geq 0\}$ 是严平稳过程
(2) 求 $X(t)$ 的均值和方差
(3) 求 $Cov(X(s), X(t))$

**习题1.4** 设 $X(t) = e^{-t}W(e^{2t})$，其中 $\{W(t), t \geq 0\}$ 是标准维纳过程。

(1) 求均值函数和协方差函数
(2) 证明这是宽平稳过程

**习题1.5** 证明：若 $\{X(t)\}$ 是正态过程，则严平稳与宽平稳等价。

**习题1.6** 设 $\{X(t), t \in \mathbb{R}\}$ 是宽平稳过程，均值为 $\mu$，协方差函数为 $C(\tau)$。证明：
$$\lim_{T \to \infty} E\left[\left(\frac{1}{2T}\int_{-T}^T X(t)dt - \mu\right)^2\right] = \lim_{T \to \infty} \frac{1}{T}\int_0^{2T} C(\tau)\left(1 - \frac{\tau}{2T}\right)d\tau$$

**习题1.7** 设 $\{X_n, n \geq 0\}$ 是马尔可夫链，状态空间为 $\{0, 1\}$，转移概率 $p_{01} = p_{10} = 1$。设 $X_0 = 0$，定义 $Y_n = X_n + X_{n+1}$。

(1) 求 $\{Y_n\}$ 的有限维分布
(2) 这是严平稳过程吗？

**习题1.8** 设 $\{X(t), t \geq 0\}$ 是随机过程，$X(t) = U + Vt$，其中 $U, V$ 是随机变量，相关系数为 $\rho$。

(1) 求 $X(t)$ 为宽平稳过程的条件
(2) 在此条件下，求自相关函数

----

**上一章**：[[随机过程]] | **下一章**：[[第二章_泊松过程]]