最优化方法

最优化方法（Optimization Methods）是研究如何从多个可行方案中寻找最优方案的数学理论与方法。作为运筹学、计算数学、控制论、经济学、工程学等领域的基础工具，最优化方法在现代社会中具有广泛而深远的应用价值。

本课程系统介绍最优化问题的基本理论、经典算法及其应用，涵盖无约束优化、约束优化、线性规划、凸优化以及现代智能优化算法等核心内容。通过本课程的学习，学生将掌握各类优化问题的建模方法、求解算法的设计原理，以及算法收敛性分析的基本技巧。

完成本课程后，学生应能够：

1. 理解最优化问题的数学建模方法，能将实际问题转化为优化模型
2. 掌握无约束优化的基本理论和经典算法（梯度下降法、Newton法、共轭梯度法等）
3. 理解约束优化的最优性条件（KKT条件）及求解方法
4. 熟练运用线性规划的单纯形法及对偶理论
5. 了解凸优化的基本框架和内点法
6. 掌握遗传算法、粒子群优化等智能优化算法的基本原理
7. 具备分析优化算法收敛性和计算复杂度的能力

本课程共分为五大部分，十六章：

1. 第一章 最优化问题与基本概念 — 数学模型、极值条件、凸集与凸函数
2. 第二章 无约束优化理论基础 — 梯度、Hesse矩阵、最优性条件

1. 第三章 一维搜索方法 — 黄金分割法、Fibonacci法、插值法
2. 第四章 梯度下降法 — 最速下降法、收敛性分析
3. 第五章 共轭梯度法 — 共轭方向、F-R方法、收敛性
4. 第六章 Newton法与拟Newton法 — Newton法、DFP、BFGS方法

1. 第七章 等式约束优化 — 拉格朗日乘子法、KKT条件
2. 第八章 不等式约束优化 — 最优性条件、约束规范
3. 第九章 罚函数法 — 外点罚函数、内点罚函数、乘子法
4. 第十章 可行方向法 — Zoutendijk方法、投影梯度法

1. 第十一章 线性规划基础 — 标准形式、几何性质、基本可行解
2. 第十二章 单纯形法 — 单纯形表、大M法、两阶段法
3. 第十三章 对偶理论与灵敏度分析 — 对偶问题、对偶单纯形法

1. 第十四章 凸优化 — 凸集、凸函数、凸规划、对偶理论
2. 第十五章 半定规划 — 半定规划、内点法
3. 第十六章 智能优化算法 — 遗传算法、粒子群、模拟退火

1. 数学分析（或高等数学）
2. 线性代数
3. 概率论与数理统计（推荐）

1. 《最优化方法》，袁亚湘、孙文瑜著，科学出版社
2. 《Convex Optimization》，Stephen Boyd & Lieven Vandenberghe，Cambridge University Press
3. 《Numerical Optimization》，Jorge Nocedal & Stephen J. Wright，Springer
4. 《线性规划》，张建中、许绍吉著，科学出版社
5. 《工程优化：理论与方法》，刘宝碇著，清华大学出版社

最优化方法的应用遍及各个学科和工程领域：

工程领域：

1. 结构设计优化（最小重量、最大刚度）
2. 控制系统优化（最优控制、模型预测控制）
3. 信号处理（稀疏表示、压缩感知）

经济与金融：

1. 投资组合优化（马科维茨模型）
2. 资源分配与调度
3. 供应链管理

机器学习与人工智能：

1. 参数估计与模型训练
2. 深度学习中的优化（SGD、Adam等）
3. 支持向量机与核方法

运筹与管理：

1. 运输与物流优化
2. 生产调度与排程
3. 设施选址问题

本课程使用以下标准数学符号：

• $\mathbb{R}^n$ — $n$维实向量空间
• $\|\mathbf{x}\|$ — 向量$\mathbf{x}$的欧几里得范数
• $\nabla f(\mathbf{x})$ — 函数$f$在$\mathbf{x}$处的梯度
• $\nabla^2 f(\mathbf{x})$ — 函数$f$在$\mathbf{x}$处的Hesse矩阵
• $A^T$ — 矩阵$A$的转置
• $A^{-1}$ — 矩阵$A$的逆
• $\arg\min$ — 使目标函数最小的参数
• s.t. — subject to（受约束于）
• $\triangleq$ — 定义为

1. 注重理论与算法相结合，理解每个算法的设计思想
2. 通过编程实现算法，加深对算法细节的理解
3. 多做习题，特别是证明题和计算题
4. 关注算法收敛性分析，理解收敛速度的意义
5. 结合实际应用场景，体会优化方法的价值

如有问题或建议，欢迎在讨论区交流。

—

*最后更新：2024年*