最优化方法（Optimization Methods）是研究如何从多个可行方案中寻找最优方案的数学理论与方法。作为运筹学、计算数学、控制论、经济学、工程学等领域的基础工具，最优化方法在现代社会中具有广泛而深远的应用价值。

本课程系统介绍最优化问题的基本理论、经典算法及其应用，涵盖无约束优化、约束优化、线性规划、凸优化以及现代智能优化算法等核心内容。通过本课程的学习，学生将掌握各类优化问题的建模方法、求解算法的设计原理，以及算法收敛性分析的基本技巧。

完成本课程后，学生应能够：

- 理解最优化问题的数学建模方法，能将实际问题转化为优化模型 - 掌握无约束优化的基本理论和经典算法（梯度下降法、Newton法、共轭梯度法等） - 理解约束优化的最优性条件（KKT条件）及求解方法 - 熟练运用线性规划的单纯形法及对偶理论 - 了解凸优化的基本框架和内点法 - 掌握遗传算法、粒子群优化等智能优化算法的基本原理 - 具备分析优化算法收敛性和计算复杂度的能力

本课程共分为五大部分，十六章：

1. 第一章 最优化问题与基本概念 — 数学模型、极值条件、凸集与凸函数
2. 第二章 无约束优化理论基础 — 梯度、Hesse矩阵、最优性条件

1. 第三章 一维搜索方法 — 黄金分割法、Fibonacci法、插值法
2. 第四章 梯度下降法 — 最速下降法、收敛性分析
3. 第五章 共轭梯度法 — 共轭方向、F-R方法、收敛性
4. 第六章 Newton法与拟Newton法 — Newton法、DFP、BFGS方法

1. 第七章 等式约束优化 — 拉格朗日乘子法、KKT条件
2. 第八章 不等式约束优化 — 最优性条件、约束规范
3. 第九章 罚函数法 — 外点罚函数、内点罚函数、乘子法
4. 第十章 可行方向法 — Zoutendijk方法、投影梯度法

1. 第十一章 线性规划基础 — 标准形式、几何性质、基本可行解
2. 第十二章 单纯形法 — 单纯形表、大M法、两阶段法
3. 第十三章 对偶理论与灵敏度分析 — 对偶问题、对偶单纯形法

1. 第十四章 凸优化 — 凸集、凸函数、凸规划、对偶理论
2. 第十五章 半定规划 — 半定规划、内点法
3. 第十六章 智能优化算法 — 遗传算法、粒子群、模拟退火

- 数学分析（或高等数学） - 线性代数 - 概率论与数理统计（推荐）

- 《最优化方法》，袁亚湘、孙文瑜著，科学出版社 - 《Convex Optimization》，Stephen Boyd & Lieven Vandenberghe，Cambridge University Press - 《Numerical Optimization》，Jorge Nocedal & Stephen J. Wright，Springer - 《线性规划》，张建中、许绍吉著，科学出版社 - 《工程优化：理论与方法》，刘宝碇著，清华大学出版社

最优化方法的应用遍及各个学科和工程领域：

工程领域： - 结构设计优化（最小重量、最大刚度） - 控制系统优化（最优控制、模型预测控制） - 信号处理（稀疏表示、压缩感知）

经济与金融： - 投资组合优化（马科维茨模型） - 资源分配与调度 - 供应链管理

机器学习与人工智能： - 参数估计与模型训练 - 深度学习中的优化（SGD、Adam等） - 支持向量机与核方法

运筹与管理： - 运输与物流优化 - 生产调度与排程 - 设施选址问题

本课程使用以下标准数学符号：

• $\mathbb{R}^n$ — $n$维实向量空间
• $\|\mathbf{x}\|$ — 向量$\mathbf{x}$的欧几里得范数
• $\nabla f(\mathbf{x})$ — 函数$f$在$\mathbf{x}$处的梯度
• $\nabla^2 f(\mathbf{x})$ — 函数$f$在$\mathbf{x}$处的Hesse矩阵
• $A^T$ — 矩阵$A$的转置
• $A^{-1}$ — 矩阵$A$的逆
• $\arg\min$ — 使目标函数最小的参数
• s.t. — subject to（受约束于）
• $\triangleq$ — 定义为

1. 注重理论与算法相结合，理解每个算法的设计思想
2. 通过编程实现算法，加深对算法细节的理解
3. 多做习题，特别是证明题和计算题
4. 关注算法收敛性分析，理解收敛速度的意义
5. 结合实际应用场景，体会优化方法的价值

如有问题或建议，欢迎在讨论区交流。

—

*最后更新：2024年*