酷应用

让模型发挥最优性能的秘密：北大教授林宙辰详解机器学习中的优化算法

百家作者：机器之心 2021-08-26 17:14:53

机器学习是关于从数据中建立预测或描述模型以提升机器解决问题能力的学科。在建立模型后，需要采用适当的优化算法来求解模型的参数，优化算法会告诉机器如何快速地得到模型的最优参数，让机器学习模型发挥最佳性能。

因此，优化算法是机器学习的重要组成部分。如何针对模型特点设计合适的优化算法？这成为众多研究者和开发者最关心的问题之一。

机器学习的需求与使用优化工具箱的其他学科的需求不同，最显著的差别在于参数空间是高维的，需要优化的函数通常是数百万项之和。在这种情况下，基于梯度的方法比高阶优化方法更可取，并且考虑到计算完全的梯度有可能不可行，因此随机梯度法是机器学习领域优化算法的代名词。这些限制与解决非凸优化问题、控制随机采样引起的方差以及开发在分布式平台上运行的算法的需求结合在一起，对优化提出了一系列新的挑战。

传统的优化算法并不完全适用于机器学习，通常来说，机器学习模型的参数维度很高或涉及的样本数巨大，这使得一阶优化算法在机器学习中占据主流地位。

最近，机器学习和计算机视觉领域知名专家、北京大学教授林宙辰领衔撰写了机器学习优化算法领域的著作《机器学习中的加速一阶优化算法》，介绍了各种情形下的加速一阶优化算法，包括确定性和随机性的算法、同步和异步的算法，以求解带约束的问题和无约束的问题、凸问题和非凸问题，对算法思想进行了深入的解读，并对其收敛速度提供了详细的证明。

这本书面向机器学习和优化领域的研究人员，包括人工智能、信号处理及应用数学特别是计算数学专业高年级本科生、研究生，以及从事人工智能、信号处理领域产品研发的工程师，提供了十分详尽的指导。购书地址：https://item.jd.com/13357588.html。

8月31日，机器之心最新一期分享邀请到了林宙辰老师带来相关解读。

分享主题：机器学习中优化算法前沿简介

嘉宾介绍：林宙辰，北京大学信息科学技术学院教授，国家自然科学杰出青年基金获得者，IAPR/IEEE Fellow。他长期从事计算机视觉、机器学习研究，发表论文230余篇、英文专著2本、中文专著1本；担任International J. Computer Vision和Optimization Methods and Software编委，曾任IEEE T. Pattern Analysis and Machine Intelligence编委，多次任机器学习、计算机视觉顶级会议CVPR、ICCV、NIPS/NeurIPS、ICML、AAAI、IJCAI、ICLR领域主席，现任ICPR 2022程序共同主席；担任中国图象图形学学会机器视觉专委会主任、中国自动化学会模式识别与机器智能专委会副主任、中国计算机学会计算机视觉专委会常务委员、中国人工智能学会模式识别专委会常务委员。

分享概要：本次分享将简要介绍机器学习中常用的优化算法，其特点、思想和发展历史。