====== 最优化方法 ======

===== 课程概述 =====

**最优化方法**（Optimization Methods）是研究如何从多个可行方案中寻找最优方案的数学理论与方法。作为运筹学、计算数学、控制论、经济学、工程学等领域的基础工具，最优化方法在现代社会中具有广泛而深远的应用价值。

本课程系统介绍最优化问题的基本理论、经典算法及其应用，涵盖无约束优化、约束优化、线性规划、凸优化以及现代智能优化算法等核心内容。通过本课程的学习，学生将掌握各类优化问题的建模方法、求解算法的设计原理，以及算法收敛性分析的基本技巧。

===== 学习目标 =====

完成本课程后，学生应能够：

  - 理解最优化问题的数学建模方法，能将实际问题转化为优化模型
  - 掌握无约束优化的基本理论和经典算法（梯度下降法、Newton法、共轭梯度法等）
  - 理解约束优化的最优性条件（KKT条件）及求解方法
  - 熟练运用线性规划的单纯形法及对偶理论
  - 了解凸优化的基本框架和内点法
  - 掌握遗传算法、粒子群优化等智能优化算法的基本原理
  - 具备分析优化算法收敛性和计算复杂度的能力

===== 课程结构 =====

本课程共分为五大部分，十六章：

==== 第一部分：优化基础 ====

  - [[最优化方法:第一章_最优化问题与基本概念|第一章 最优化问题与基本概念]] — 数学模型、极值条件、凸集与凸函数
  - [[最优化方法:第二章_无约束优化理论基础|第二章 无约束优化理论基础]] — 梯度、Hesse矩阵、最优性条件

==== 第二部分：一维搜索与梯度方法 ====

  - [[最优化方法:第三章_一维搜索方法|第三章 一维搜索方法]] — 黄金分割法、Fibonacci法、插值法
  - [[最优化方法:第四章_梯度下降法|第四章 梯度下降法]] — 最速下降法、收敛性分析
  - [[最优化方法:第五章_共轭梯度法|第五章 共轭梯度法]] — 共轭方向、F-R方法、收敛性
  - [[最优化方法:第六章_Newton法与拟Newton法|第六章 Newton法与拟Newton法]] — Newton法、DFP、BFGS方法

==== 第三部分：约束优化 ====

  - [[最优化方法:第七章_等式约束优化|第七章 等式约束优化]] — 拉格朗日乘子法、KKT条件
  - [[最优化方法:第八章_不等式约束优化|第八章 不等式约束优化]] — 最优性条件、约束规范
  - [[最优化方法:第九章_罚函数法|第九章 罚函数法]] — 外点罚函数、内点罚函数、乘子法
  - [[最优化方法:第十章_可行方向法|第十章 可行方向法]] — Zoutendijk方法、投影梯度法

==== 第四部分：线性规划 ====

  - [[最优化方法:第十一章_线性规划基础|第十一章 线性规划基础]] — 标准形式、几何性质、基本可行解
  - [[最优化方法:第十二章_单纯形法|第十二章 单纯形法]] — 单纯形表、大M法、两阶段法
  - [[最优化方法:第十三章_对偶理论与灵敏度分析|第十三章 对偶理论与灵敏度分析]] — 对偶问题、对偶单纯形法

==== 第五部分：凸优化与高级主题 ====

  - [[最优化方法:第十四章_凸优化|第十四章 凸优化]] — 凸集、凸函数、凸规划、对偶理论
  - [[最优化方法:第十五章_半定规划|第十五章 半定规划]] — 半定规划、内点法
  - [[最优化方法:第十六章_智能优化算法|第十六章 智能优化算法]] — 遗传算法、粒子群、模拟退火

===== 先修课程 =====

  - 数学分析（或高等数学）
  - 线性代数
  - 概率论与数理统计（推荐）

===== 推荐教材 =====

  - 《最优化方法》，袁亚湘、孙文瑜著，科学出版社
  - 《Convex Optimization》，Stephen Boyd & Lieven Vandenberghe，Cambridge University Press
  - 《Numerical Optimization》，Jorge Nocedal & Stephen J. Wright，Springer
  - 《线性规划》，张建中、许绍吉著，科学出版社
  - 《工程优化：理论与方法》，刘宝碇著，清华大学出版社

===== 应用领域 =====

最优化方法的应用遍及各个学科和工程领域：

**工程领域**：
  - 结构设计优化（最小重量、最大刚度）
  - 控制系统优化（最优控制、模型预测控制）
  - 信号处理（稀疏表示、压缩感知）

**经济与金融**：
  - 投资组合优化（马科维茨模型）
  - 资源分配与调度
  - 供应链管理

**机器学习与人工智能**：
  - 参数估计与模型训练
  - 深度学习中的优化（SGD、Adam等）
  - 支持向量机与核方法

**运筹与管理**：
  - 运输与物流优化
  - 生产调度与排程
  - 设施选址问题

===== 数学符号说明 =====

本课程使用以下标准数学符号：

  * $\mathbb{R}^n$ — $n$维实向量空间
  * $\|\mathbf{x}\|$ — 向量$\mathbf{x}$的欧几里得范数
  * $\nabla f(\mathbf{x})$ — 函数$f$在$\mathbf{x}$处的梯度
  * $\nabla^2 f(\mathbf{x})$ — 函数$f$在$\mathbf{x}$处的Hesse矩阵
  * $A^T$ — 矩阵$A$的转置
  * $A^{-1}$ — 矩阵$A$的逆
  * $\arg\min$ — 使目标函数最小的参数
  * s.t. — subject to（受约束于）
  * $\triangleq$ — 定义为

===== 学习建议 =====

  - 注重理论与算法相结合，理解每个算法的设计思想
  - 通过编程实现算法，加深对算法细节的理解
  - 多做习题，特别是证明题和计算题
  - 关注算法收敛性分析，理解收敛速度的意义
  - 结合实际应用场景，体会优化方法的价值

===== 联系我们 =====

如有问题或建议，欢迎在讨论区交流。

---

*最后更新：2024年*