张叶安的小站

本页面只读。您可以查看源文件，但不能更改它。如果您觉得这是系统错误，请联系管理员。
====== 第三章 最佳逼近 ======

===== 3.1 函数逼近的基本概念 =====

**定义 3.1（函数逼近问题）** 给定函数 $f(x) \in C[a, b]$，求简单函数 $P(x) \in \Phi$（$\Phi$ 是某函数类），使得 $P(x)$ 与 $f(x)$ 之间的**距离**（误差度量）最小。

常见的函数类 $\Phi$ 包括：
  - 多项式函数类 $\mathcal{P}_n$（次数不超过 $n$ 的多项式）
  - 三角多项式函数类
  - 有理函数类
  - 样条函数类

===== 3.2 范数与内积空间 =====

==== 3.2.1 线性赋范空间 ====

**定义 3.2（范数）** 设 $X$ 是数域 $\mathbb{R}$（或 $\mathbb{C}$）上的线性空间，若对任意 $x \in X$，存在唯一的实数 $\|x\|$ 与之对应，满足：

1. **正定性**：$\|x\| \geq 0$，且 $\|x\| = 0 \Leftrightarrow x = 0$
2. **齐次性**：$\|\alpha x\| = |\alpha| \|x\|$，$\alpha \in \mathbb{R}$
3. **三角不等式**：$\|x + y\| \leq \|x\| + \|y\|$

则称 $\|x\|$ 为 $x$ 的**范数**，$(X, \|\cdot\|)$ 称为**赋范线性空间**。

==== 3.2.2 常用范数 ====

对于 $f \in C[a, b]$：

**1. $L_\infty$ 范数（一致范数、Chebyshev范数）**：
$$\|f\|_\infty = \max_{a \leq x \leq b} |f(x)|$$

**2. $L_1$ 范数**：
$$\|f\|_1 = \int_a^b |f(x)| dx$$

**3. $L_2$ 范数（欧氏范数）**：
$$\|f\|_2 = \sqrt{\int_a^b [f(x)]^2 dx}$$

**4. $L_p$ 范数**（$1 \leq p < \infty$）：
$$\|f\|_p = \left(\int_a^b |f(x)|^p dx\right)^{1/p}$$

**5. 加权 $L_2$ 范数**：给定权函数 $\rho(x) > 0$
$$\|f\|_{2,\rho} = \sqrt{\int_a^b \rho(x) [f(x)]^2 dx}$$

==== 3.2.3 内积空间 ====

**定义 3.3（内积）** 设 $X$ 是数域 $\mathbb{R}$ 上的线性空间，若对任意 $x, y \in X$，存在唯一的实数 $(x, y)$ 与之对应，满足：

1. **对称性**：$(x, y) = (y, x)$
2. **线性性**：$(\alpha x + \beta y, z) = \alpha(x, z) + \beta(y, z)$
3. **正定性**：$(x, x) \geq 0$，且 $(x, x) = 0 \Leftrightarrow x = 0$

则称 $(x, y)$ 为 $x$ 与 $y$ 的**内积**，$(X, (\cdot, \cdot))$ 称为**内积空间**。

**Cauchy-Schwarz不等式**：
$$|(x, y)| \leq \sqrt{(x, x)} \sqrt{(y, y)} = \|x\| \|y\|$$

在内积空间中可定义范数：$\|x\| = \sqrt{(x, x)}$。

**函数空间的内积**：
$$(f, g) = \int_a^b f(x) g(x) dx$$
或加权内积：
$$(f, g)_\rho = \int_a^b \rho(x) f(x) g(x) dx$$

===== 3.3 最佳一致逼近 =====

==== 3.3.1 Weierstrass定理 ====

**定理 3.1（Weierstrass第一逼近定理）** 设 $f(x) \in C[a, b]$，则对任意 $\varepsilon > 0$，存在多项式 $P(x)$，使得：
$$\|f - P\|_\infty = \max_{a \leq x \leq b} |f(x) - P(x)| < \varepsilon$$

这表明多项式函数类在 $C[a, b]$ 中是稠密的。

**定理 3.2（Weierstrass第二逼近定理）** 设 $f(x)$ 是以 $2\pi$ 为周期的连续函数，则对任意 $\varepsilon > 0$，存在三角多项式 $T_n(x)$，使得：
$$\|f - T_n\|_\infty < \varepsilon$$

==== 3.3.2 最佳一致逼近多项式 ====

**定义 3.4（最佳一致逼近）** 设 $f(x) \in C[a, b]$，$\mathcal{P}_n$ 为次数不超过 $n$ 的多项式全体，若存在 $P^*(x) \in \mathcal{P}_n$ 使得：
$$\|f - P^*\|_\infty = \inf_{P \in \mathcal{P}_n} \|f - P\|_\infty = E_n(f)$$
则称 $P^*(x)$ 为 $f(x)$ 在 $[a, b]$ 上的 **$n$ 次最佳一致逼近多项式**，$E_n(f)$ 称为**最佳逼近偏差**。

**定理 3.3（存在唯一性）** 对任意 $f(x) \in C[a, b]$，其 $n$ 次最佳一致逼近多项式存在且唯一。

==== 3.3.3 Chebyshev交错定理 ====

**定义 3.5（偏差点）** 设 $P(x) \in \mathcal{P}_n$，若 $x_0 \in [a, b]$ 满足：
$$|f(x_0) - P(x_0)| = \|f - P\|_\infty$$
则称 $x_0$ 为 $P(x)$ 关于 $f(x)$ 的**偏差点**。

若 $f(x_0) - P(x_0) = \|f - P\|_\infty$，称为**正偏差点**；
若 $f(x_0) - P(x_0) = -\|f - P\|_\infty$，称为**负偏差点**。

**定理 3.4（Chebyshev交错定理）** $P^*(x) \in \mathcal{P}_n$ 是 $f(x) \in C[a, b]$ 的最佳一致逼近多项式的充分必要条件是：$f(x) - P^*(x)$ 在 $[a, b]$ 上至少存在 $n+2$ 个轮流为正、负的偏差点，即存在点列：
$$a \leq x_0 < x_1 < \cdots < x_{n+1} \leq b$$
使得：
$$f(x_k) - P^*(x_k) = (-1)^k \sigma \|f - P^*\|_\infty, \quad k = 0, 1, \ldots, n+1$$
其中 $\sigma = \pm 1$。

这样的点列称为**Chebyshev交错点组**。

==== 3.3.4 零偏差多项式 =====

**定理 3.5** 在首项系数为1的 $n$ 次多项式中，$\tilde{T}_n(x) = \frac{1}{2^{n-1}} T_n(x)$ 在 $[-1, 1]$ 上与零的偏差最小，且：
$$\max_{-1 \leq x \leq 1} |\tilde{T}_n(x)| = \frac{1}{2^{n-1}}$$

其中 $T_n(x)$ 是 $n$ 次Chebyshev多项式。

===== 3.4 最佳平方逼近 =====

==== 3.4.1 问题的提法 ====

**定义 3.6（最佳平方逼近）** 设 $f(x) \in C[a, b]$，$\Phi = \text{span}\{\varphi_0, \varphi_1, \ldots, \varphi_n\}$ 是 $C[a, b]$ 的子空间。若存在 $S^*(x) \in \Phi$ 使得：
$$\|f - S^*\|_2^2 = \inf_{S \in \Phi} \|f - S\|_2^2 = \inf_{S \in \Phi} \int_a^b [f(x) - S(x)]^2 dx$$
则称 $S^*(x)$ 为 $f(x)$ 在 $\Phi$ 中的**最佳平方逼近函数**。

设 $S(x) = \sum_{j=0}^{n} a_j \varphi_j(x)$，问题转化为求系数 $a_0, a_1, \ldots, a_n$。

==== 3.4.2 法方程 ====

令 $I(a_0, \ldots, a_n) = \int_a^b [f(x) - \sum_{j=0}^{n} a_j \varphi_j(x)]^2 dx$，由极值必要条件：
$$\frac{\partial I}{\partial a_k} = -2\int_a^b [f(x) - \sum_{j=0}^{n} a_j \varphi_j(x)] \varphi_k(x) dx = 0$$

即：
$$\sum_{j=0}^{n} (\varphi_k, \varphi_j) a_j = (f, \varphi_k), \quad k = 0, 1, \ldots, n$$

写成矩阵形式（**法方程**或**正规方程**）：
$$Ga = d$$

其中：
  - $G$ 是 **Gram矩阵**：$G_{kj} = (\varphi_k, \varphi_j)$
  - $d_k = (f, \varphi_k)$
  - $a = (a_0, a_1, \ldots, a_n)^T$

**定理 3.6** 若 $\varphi_0, \varphi_1, \ldots, \varphi_n$ 线性无关，则Gram矩阵 $G$ 对称正定，法方程存在唯一解。

==== 3.4.3 最佳平方逼近多项式 ====

取 $\Phi = \mathcal{P}_n$，基函数 $\varphi_j(x) = x^j$（$j = 0, 1, \ldots, n$）。

Gram矩阵元素：
$$(\varphi_k, \varphi_j) = \int_a^b x^{k+j} dx = \frac{b^{k+j+1} - a^{k+j+1}}{k+j+1}$$

当 $[a, b] = [0, 1]$ 时，$G$ 是 **Hilbert矩阵**：
$$G_{kj} = \frac{1}{k+j+1}$$

Hilbert矩阵是严重病态的，直接求解法方程数值不稳定。

==== 3.4.4 用正交函数组求最佳平方逼近 ====

若 $\{\varphi_j\}_{j=0}^n$ 关于权函数 $\rho(x)$ 正交，即 $(\varphi_k, \varphi_j)_\rho = 0$（$k \neq j$），则Gram矩阵为对角阵：
$$a_k^* = \frac{(f, \varphi_k)_\rho}{(\varphi_k, \varphi_k)_\rho} = \frac{(f, \varphi_k)_\rho}{\|\varphi_k\|_{2,\rho}^2}$$

最佳平方逼近函数为：
$$S^*(x) = \sum_{k=0}^{n} \frac{(f, \varphi_k)_\rho}{\|\varphi_k\|_{2,\rho}^2} \varphi_k(x)$$

**误差**：
$$\|f - S^*\|_{2,\rho}^2 = \|f\|_{2,\rho}^2 - \sum_{k=0}^{n} \frac{(f, \varphi_k)_\rho^2}{\|\varphi_k\|_{2,\rho}^2}$$

===== 3.5 离散数据的最佳平方逼近 =====

==== 3.5.1 最小二乘问题 ====

给定数据点 $(x_i, y_i)$（$i = 0, 1, \ldots, m$，$m > n$），求 $S(x) = \sum_{j=0}^{n} a_j \varphi_j(x)$ 使得：
$$\sum_{i=0}^{m} [y_i - S(x_i)]^2 = \min$$

==== 3.5.2 法方程 ====

$$\sum_{j=0}^{n} \left(\sum_{i=0}^{m} \varphi_k(x_i) \varphi_j(x_i)\right) a_j = \sum_{i=0}^{m} y_i \varphi_k(x_i), \quad k = 0, 1, \ldots, n$$

矩阵形式：
$$\Phi^T \Phi a = \Phi^T y$$

其中 $\Phi_{ij} = \varphi_j(x_i)$ 是 $m \times n$ 的设计矩阵。

===== 3.6 典型例题 =====

**例题 3.1** 求 $f(x) = \sqrt{x}$ 在 $[0, 1]$ 上的一次最佳平方逼近多项式。

**解**：取 $\varphi_0(x) = 1$，$\varphi_1(x) = x$。

计算内积：
$(\varphi_0, \varphi_0) = \int_0^1 1 dx = 1$
$(\varphi_0, \varphi_1) = \int_0^1 x dx = \frac{1}{2}$
$(\varphi_1, \varphi_1) = \int_0^1 x^2 dx = \frac{1}{3}$
$(f, \varphi_0) = \int_0^1 \sqrt{x} dx = \frac{2}{3}$
$(f, \varphi_1) = \int_0^1 x\sqrt{x} dx = \int_0^1 x^{3/2} dx = \frac{2}{5}$

法方程：
$$\begin{cases}
a_0 + \frac{1}{2}a_1 = \frac{2}{3} \\
\frac{1}{2}a_0 + \frac{1}{3}a_1 = \frac{2}{5}
\end{cases}$$

解得：$a_0 = \frac{4}{15}$，$a_1 = \frac{12}{15} = \frac{4}{5}$。

最佳一次平方逼近多项式：$S_1^*(x) = \frac{4}{15} + \frac{4}{5}x$。

**例题 3.2** 求 $f(x) = e^x$ 在 $[-1, 1]$ 上的三次最佳一致逼近多项式。

**解**：利用Chebyshev多项式，有展开式：
$$e^x = I_0(1) + 2\sum_{k=1}^{\infty} I_k(1) T_k(x)$$

其中 $I_k$ 是修正Bessel函数。截断到三次：
$$P_3(x) \approx 1.2661 + 1.1302x + 0.2715(2x^2-1) + 0.0443(4x^3-3x)$$

整理得：
$$P_3(x) = 0.9946 + 0.9973x + 0.5430x^2 + 0.1772x^3$$

===== 3.7 习题 =====

**基础练习**

1. 验证 $L_1$、$L_2$、$L_\infty$ 范数满足范数的三条公理。

2. 设 $f(x) = x^4$，求其在 $[0, 1]$ 上的二次最佳平方逼近多项式。

3. 证明：若 $\varphi_0, \ldots, \varphi_n$ 线性无关，则Gram矩阵对称正定。

**进阶练习**

4. 证明Chebyshev交错定理的充分性部分。

5. 设 $f \in C^2[a, b]$，$P_1^*(x) = a_0 + a_1 x$ 是最佳一次一致逼近多项式，证明：
   $$a_1 = \frac{f(b) - f(a)}{b - a}, \quad a_0 = \frac{f(a) + f(x_1)}{2} - a_1 \frac{a + x_1}{2}$$
   其中 $x_1$ 满足 $f'(x_1) = a_1$。

6. 证明离散数据最小二乘问题的法方程 $\Phi^T \Phi a = \Phi^T y$ 总有解。

**编程实践**

7. 编写程序求解连续函数的最佳平方逼近（用多项式基）。

8. 用Python的numpy.linalg.lstsq实现离散数据最小二乘拟合。

===== 参考文献 =====

1. 李庆扬等. 数值分析（第5版）. 清华大学出版社, 2008.
2. Cheney E W. Introduction to Approximation Theory. AMS Chelsea Publishing, 1982.