最优化：建模、算法与理论 刘浩洋、户将、李勇锋、文再文编著
前言 最优化计算方法是运筹学、计算数学、机器学习和数据科学与大数据技 术等专业的一门核心课程.
最优化问题通常需要对实际需求进行定性和定 量分析，建立恰当的数学模型来描述该问题，设计合适的计算方法来寻找问 题的最优解，探索研究模型和算法的理论性质，考察算法的计算性能等.
最 优化算法广泛应用于科学与工程计算、数据科学、机器学习、人工智能、图 像和信号处理、金融和经济、管理科学等众多领域.
本书将介绍最优化的基 本概念、典型案例、基本算法和理论，培养学生解决实际间题的能力.
本书可作为数学优化、运筹学、计算数学、机器学习、人工智能、计算 机科学和数据科学等专业的本科生、研究生和相关研究人员的教材或参考书 目.
通过本书的学习，希望读者能掌握最优化的基本概念、最优性理论、一 些典型的最优化间题（如凸优化，无约束优化，约束优化，复合优化，等等） 的建模或判别、相关优化问题的基本计算方法、能学会调用基于MATLAB 或Python等语言的典型优化软件程序求解一些标准的优化问题，可以灵活 运用所讲授的算法和理论求解一些非标准的优化问题，并锻炼对将实际问 题建立合适最优化模型、选择合适的现有软件包和算法、遇到没有现成算法 自己实现简单算法等能力.
考虑到不同层次的需求，本书另有简化版（书名：《最优化计算方法》）， 主要区别是简化版中不涉及一些复杂的概念、详细的例子和证明.
在第一章 简要介绍最优化基本概念之后，本书从四个方面进行讲述.
基础知识：第二章介绍最优化建模和算法中经常需要使用的一些基础 知识，包括范数、导数、凸集、凸函数、次梯度、共轭函数等.
此外为 了内容的完整性，也在附录部分简要概述了一些基础知识，其中线性 代数部分包含矩阵、特征值、广义逆、SMW公式、Schur补等，数值 代数部分包含范数、方程组求解、矩阵分解、数值代数软件包等，概 率论部分包含随机变量、期望、方差、条件期望等重要概念和结论.
i
IⅢ 一步查阅相关章节给出的参考文献.
由于篇幅限制，有很多重要内容没有讲 述，如连续优化里的共轭梯度算法、逐步二次规划、无导数优化、线性规划 单纯形法和更详细的内点法、二次锥规划和半定规划的内点法、非线性规划 的内点法等.
本书也没有讲述带微分方程约束优化、流形约束优化、鲁棒优 化、整数规划、组合优化、次模优化、动态规划等应用广泛的知识，感兴趣 的读者可以阅读相关文献.
诚挚感谢袁亚湘院士多年来的精心指导和悉心关怀，对本书的规划和 内容给予的宝贵意见.
特别感谢张平文院士、马志明院士、徐宗本院士等专 家对本书的指导和支持.
非常感谢北京大学北京国际数学研究中心和数学 科学学院、国家自然科学基金、北京智源人工智能研究院等对课题组的长期 资助和支持.
本书写作参考了袁亚湘院士和孙文瑜教授的《最优化理论与方法》， Boyd 教授和LievenVandenberghe教授的 Contex Optimrization等经典教 材.
LievenVandenberghe教授在加州大学洛杉矶分校多门课程的讲义对本 书的整理帮助很大.
也特别感谢加州大学洛杉矶分校印卧涛教授慷概分享 稀疏优化、交替方向乘子法、坐标下降法等很多方面的内容.
本书内容在北京大学数学科学学院多次开设的“凸优化”和“大数据分 析中的算法”课程中使用，感谢课题组同学在初稿整理方面的支持，如刘普 凡在内容简介，金泽宇在数值代数基础和Nesterov加速算法，许东在数学 分析基础，杨明瀚在无约束光滑函数优化方法，柳伊扬在无约束非光滑函数 优化算法，柳吴明在近似点梯度法，刘德斌在罚函数法，赵明明在对偶函数 方法，王金鑫在交替方向乘子法及其变形，陈和谢中林在书稿后期整理等 方面的帮助.
同时也感谢高等教育出版社刘荣编辑精心细致的校稿和修改.
限于作者的知识水平，书中恐有不妥之处，息请读者不吝批评和指正.
刘浩洋、户将、李勇锋、文再文 北京，2020年7月
