定义 3.1（函数逼近问题） 给定函数 $f(x) \in C[a, b]$，求简单函数 $P(x) \in \Phi$（$\Phi$ 是某函数类），使得 $P(x)$ 与 $f(x)$ 之间的距离（误差度量）最小。
常见的函数类 $\Phi$ 包括：
定义 3.2（范数） 设 $X$ 是数域 $\mathbb{R}$（或 $\mathbb{C}$）上的线性空间，若对任意 $x \in X$，存在唯一的实数 $\|x\|$ 与之对应，满足：
1. 正定性：$\|x\| \geq 0$，且 $\|x\| = 0 \Leftrightarrow x = 0$ 2. 齐次性：$\|\alpha x\| = |\alpha| \|x\|$，$\alpha \in \mathbb{R}$ 3. 三角不等式：$\|x + y\| \leq \|x\| + \|y\|$
则称 $\|x\|$ 为 $x$ 的范数，$(X, \|\cdot\|)$ 称为赋范线性空间。
对于 $f \in C[a, b]$：
1. $L_\infty$ 范数（一致范数、Chebyshev范数）： $$\|f\|_\infty = \max_{a \leq x \leq b} |f(x)|$$
2. $L_1$ 范数： $$\|f\|_1 = \int_a^b |f(x)| dx$$
3. $L_2$ 范数（欧氏范数）： $$\|f\|_2 = \sqrt{\int_a^b [f(x)]^2 dx}$$
4. $L_p$ 范数（$1 \leq p < \infty$）： $$\|f\|_p = \left(\int_a^b |f(x)|^p dx\right)^{1/p}$$
5. 加权 $L_2$ 范数：给定权函数 $\rho(x) > 0$ $$\|f\|_{2,\rho} = \sqrt{\int_a^b \rho(x) [f(x)]^2 dx}$$
定义 3.3（内积） 设 $X$ 是数域 $\mathbb{R}$ 上的线性空间，若对任意 $x, y \in X$，存在唯一的实数 $(x, y)$ 与之对应，满足：
1. 对称性：$(x, y) = (y, x)$ 2. 线性性：$(\alpha x + \beta y, z) = \alpha(x, z) + \beta(y, z)$ 3. 正定性：$(x, x) \geq 0$，且 $(x, x) = 0 \Leftrightarrow x = 0$
则称 $(x, y)$ 为 $x$ 与 $y$ 的内积，$(X, (\cdot, \cdot))$ 称为内积空间。
Cauchy-Schwarz不等式： $$|(x, y)| \leq \sqrt{(x, x)} \sqrt{(y, y)} = \|x\| \|y\|$$
在内积空间中可定义范数：$\|x\| = \sqrt{(x, x)}$。
函数空间的内积： $$(f, g) = \int_a^b f(x) g(x) dx$$ 或加权内积： $$(f, g)_\rho = \int_a^b \rho(x) f(x) g(x) dx$$
定理 3.1（Weierstrass第一逼近定理） 设 $f(x) \in C[a, b]$，则对任意 $\varepsilon > 0$，存在多项式 $P(x)$，使得： $$\|f - P\|_\infty = \max_{a \leq x \leq b} |f(x) - P(x)| < \varepsilon$$
这表明多项式函数类在 $C[a, b]$ 中是稠密的。
定理 3.2（Weierstrass第二逼近定理） 设 $f(x)$ 是以 $2\pi$ 为周期的连续函数，则对任意 $\varepsilon > 0$，存在三角多项式 $T_n(x)$，使得： $$\|f - T_n\|_\infty < \varepsilon$$
定义 3.4（最佳一致逼近） 设 $f(x) \in C[a, b]$，$\mathcal{P}_n$ 为次数不超过 $n$ 的多项式全体，若存在 $P^*(x) \in \mathcal{P}_n$ 使得： $$\|f - P^*\|_\infty = \inf_{P \in \mathcal{P}_n} \|f - P\|_\infty = E_n(f)$$ 则称 $P^*(x)$ 为 $f(x)$ 在 $[a, b]$ 上的 $n$ 次最佳一致逼近多项式，$E_n(f)$ 称为最佳逼近偏差。
定理 3.3（存在唯一性） 对任意 $f(x) \in C[a, b]$，其 $n$ 次最佳一致逼近多项式存在且唯一。
定义 3.5（偏差点） 设 $P(x) \in \mathcal{P}_n$，若 $x_0 \in [a, b]$ 满足： $$|f(x_0) - P(x_0)| = \|f - P\|_\infty$$ 则称 $x_0$ 为 $P(x)$ 关于 $f(x)$ 的偏差点。
若 $f(x_0) - P(x_0) = \|f - P\|_\infty$，称为正偏差点； 若 $f(x_0) - P(x_0) = -\|f - P\|_\infty$，称为负偏差点。
定理 3.4（Chebyshev交错定理） $P^*(x) \in \mathcal{P}_n$ 是 $f(x) \in C[a, b]$ 的最佳一致逼近多项式的充分必要条件是：$f(x) - P^*(x)$ 在 $[a, b]$ 上至少存在 $n+2$ 个轮流为正、负的偏差点，即存在点列： $$a \leq x_0 < x_1 < \cdots < x_{n+1} \leq b$$ 使得： $$f(x_k) - P^*(x_k) = (-1)^k \sigma \|f - P^*\|_\infty, \quad k = 0, 1, \ldots, n+1$$ 其中 $\sigma = \pm 1$。
这样的点列称为Chebyshev交错点组。
定理 3.5 在首项系数为1的 $n$ 次多项式中，$\tilde{T}_n(x) = \frac{1}{2^{n-1}} T_n(x)$ 在 $[-1, 1]$ 上与零的偏差最小，且： $$\max_{-1 \leq x \leq 1} |\tilde{T}_n(x)| = \frac{1}{2^{n-1}}$$
其中 $T_n(x)$ 是 $n$ 次Chebyshev多项式。
定义 3.6（最佳平方逼近） 设 $f(x) \in C[a, b]$，$\Phi = \text{span}\{\varphi_0, \varphi_1, \ldots, \varphi_n\}$ 是 $C[a, b]$ 的子空间。若存在 $S^*(x) \in \Phi$ 使得： $$\|f - S^*\|_2^2 = \inf_{S \in \Phi} \|f - S\|_2^2 = \inf_{S \in \Phi} \int_a^b [f(x) - S(x)]^2 dx$$ 则称 $S^*(x)$ 为 $f(x)$ 在 $\Phi$ 中的最佳平方逼近函数。
设 $S(x) = \sum_{j=0}^{n} a_j \varphi_j(x)$，问题转化为求系数 $a_0, a_1, \ldots, a_n$。
令 $I(a_0, \ldots, a_n) = \int_a^b [f(x) - \sum_{j=0}^{n} a_j \varphi_j(x)]^2 dx$，由极值必要条件： $$\frac{\partial I}{\partial a_k} = -2\int_a^b [f(x) - \sum_{j=0}^{n} a_j \varphi_j(x)] \varphi_k(x) dx = 0$$
即： $$\sum_{j=0}^{n} (\varphi_k, \varphi_j) a_j = (f, \varphi_k), \quad k = 0, 1, \ldots, n$$
写成矩阵形式（法方程或正规方程）： $$Ga = d$$
其中：
定理 3.6 若 $\varphi_0, \varphi_1, \ldots, \varphi_n$ 线性无关，则Gram矩阵 $G$ 对称正定，法方程存在唯一解。
取 $\Phi = \mathcal{P}_n$，基函数 $\varphi_j(x) = x^j$（$j = 0, 1, \ldots, n$）。
Gram矩阵元素： $$(\varphi_k, \varphi_j) = \int_a^b x^{k+j} dx = \frac{b^{k+j+1} - a^{k+j+1}}{k+j+1}$$
当 $[a, b] = [0, 1]$ 时，$G$ 是 Hilbert矩阵： $$G_{kj} = \frac{1}{k+j+1}$$
Hilbert矩阵是严重病态的，直接求解法方程数值不稳定。
若 $\{\varphi_j\}_{j=0}^n$ 关于权函数 $\rho(x)$ 正交，即 $(\varphi_k, \varphi_j)_\rho = 0$（$k \neq j$），则Gram矩阵为对角阵： $$a_k^* = \frac{(f, \varphi_k)_\rho}{(\varphi_k, \varphi_k)_\rho} = \frac{(f, \varphi_k)_\rho}{\|\varphi_k\|_{2,\rho}^2}$$
最佳平方逼近函数为： $$S^*(x) = \sum_{k=0}^{n} \frac{(f, \varphi_k)_\rho}{\|\varphi_k\|_{2,\rho}^2} \varphi_k(x)$$
误差： $$\|f - S^*\|_{2,\rho}^2 = \|f\|_{2,\rho}^2 - \sum_{k=0}^{n} \frac{(f, \varphi_k)_\rho^2}{\|\varphi_k\|_{2,\rho}^2}$$
给定数据点 $(x_i, y_i)$（$i = 0, 1, \ldots, m$，$m > n$），求 $S(x) = \sum_{j=0}^{n} a_j \varphi_j(x)$ 使得： $$\sum_{i=0}^{m} [y_i - S(x_i)]^2 = \min$$
$$\sum_{j=0}^{n} \left(\sum_{i=0}^{m} \varphi_k(x_i) \varphi_j(x_i)\right) a_j = \sum_{i=0}^{m} y_i \varphi_k(x_i), \quad k = 0, 1, \ldots, n$$
矩阵形式： $$\Phi^T \Phi a = \Phi^T y$$
其中 $\Phi_{ij} = \varphi_j(x_i)$ 是 $m \times n$ 的设计矩阵。
例题 3.1 求 $f(x) = \sqrt{x}$ 在 $[0, 1]$ 上的一次最佳平方逼近多项式。
解：取 $\varphi_0(x) = 1$，$\varphi_1(x) = x$。
计算内积： $(\varphi_0, \varphi_0) = \int_0^1 1 dx = 1$ $(\varphi_0, \varphi_1) = \int_0^1 x dx = \frac{1}{2}$ $(\varphi_1, \varphi_1) = \int_0^1 x^2 dx = \frac{1}{3}$ $(f, \varphi_0) = \int_0^1 \sqrt{x} dx = \frac{2}{3}$ $(f, \varphi_1) = \int_0^1 x\sqrt{x} dx = \int_0^1 x^{3/2} dx = \frac{2}{5}$
法方程：
$$\begin{cases}
a_0 + \frac{1}{2}a_1 = \frac{2}{3}
\frac{1}{2}a_0 + \frac{1}{3}a_1 = \frac{2}{5}
\end{cases}$$
解得：$a_0 = \frac{4}{15}$，$a_1 = \frac{12}{15} = \frac{4}{5}$。
最佳一次平方逼近多项式：$S_1^*(x) = \frac{4}{15} + \frac{4}{5}x$。
例题 3.2 求 $f(x) = e^x$ 在 $[-1, 1]$ 上的三次最佳一致逼近多项式。
解：利用Chebyshev多项式，有展开式： $$e^x = I_0(1) + 2\sum_{k=1}^{\infty} I_k(1) T_k(x)$$
其中 $I_k$ 是修正Bessel函数。截断到三次： $$P_3(x) \approx 1.2661 + 1.1302x + 0.2715(2x^2-1) + 0.0443(4x^3-3x)$$
整理得： $$P_3(x) = 0.9946 + 0.9973x + 0.5430x^2 + 0.1772x^3$$
基础练习
1. 验证 $L_1$、$L_2$、$L_\infty$ 范数满足范数的三条公理。
2. 设 $f(x) = x^4$，求其在 $[0, 1]$ 上的二次最佳平方逼近多项式。
3. 证明：若 $\varphi_0, \ldots, \varphi_n$ 线性无关，则Gram矩阵对称正定。
进阶练习
4. 证明Chebyshev交错定理的充分性部分。
5. 设 $f \in C^2[a, b]$，$P_1^*(x) = a_0 + a_1 x$ 是最佳一次一致逼近多项式，证明：
$$a_1 = \frac{f(b) - f(a)}{b - a}, \quad a_0 = \frac{f(a) + f(x_1)}{2} - a_1 \frac{a + x_1}{2}$$
其中 $x_1$ 满足 $f'(x_1) = a_1$。
6. 证明离散数据最小二乘问题的法方程 $\Phi^T \Phi a = \Phi^T y$ 总有解。
编程实践
7. 编写程序求解连续函数的最佳平方逼近（用多项式基）。
8. 用Python的numpy.linalg.lstsq实现离散数据最小二乘拟合。
1. 李庆扬等. 数值分析（第5版）. 清华大学出版社, 2008. 2. Cheney E W. Introduction to Approximation Theory. AMS Chelsea Publishing, 1982.