酷应用

Max Welling作序，前高通AI研究员Jakub Tomczak新书《深度生成模型》出版

百家作者：机器之心 2022-02-24 21:37:33

机器之心报道

编辑：蛋酱

这本书的代码已经全部开放，读者可以边看边实践，学会实现「深度生成模型」。

今天，阿姆斯特丹自由大学助理教授、前高通 AI 研究中心研究员 Jakub Tomczak 在推特上公布了全新著作《深度生成模型》的进展，目前这本书已经正式出版。

书籍访问地址：https://link.springer.com/book/10.1007/978-3-030-93158-2

在书的最开始，阿姆斯特丹大学机器学习研究主席、前高通技术副总裁、现微软阿姆斯特丹实验室首席科学家 Max Welling 写下了序言：

过去的十年中，随着深度学习的发展，机器学习领域取得了巨大的进步，并彻底改变了人工智能的分支领域，如计算机视觉、语音识别和自然语言处理。同时，更多的领域正在被重塑，包括机器人技术、无线通信和自然科学。

此前，大多数的进步来自监督学习，输入 (例如一张图片) 和目标标签 (例如「猫」) 即可用于训练。深度神经网络在预测视觉场景中的物体和语言之间的转换方面表现得出奇优秀，但是获得标签来训练这样的模型通常是耗时的、昂贵的，甚至是不道德的或者根本不可能的。

所以，研究者们已经认识到无监督 (或自监督) 方法是取得进一步进展的关键。这和人类的学习过程没有什么不同: 当人类的孩子长大后，Ta 为了理解这个世界所消耗的信息量大部分是无标签的。又有多少人会真正告诉你「你在这个世界上看到或听到了什么？」人们必须在无监督的情况下学习世界的规律，通过在数据中搜索模式和结构来做到这一点，这就是人工智能模型需要借鉴的地方。

当然，对于机器人来说，理解世界是更困难的。实用的学习方法是使用大量数据的非监督式学习。这个领域已经获得了巨大的关注，并且近来取得了惊人的进步。非监督式学习有很多种，这本书是关于概率生成模型的那一类。其目标是预估一个输入数据的概率模型，一旦有了这样一个模型，就可以从中生成新的样本(比如不存在的人的新面孔图像)。

在《深度生成模型》这本书中，作者通过结合概率模型和深度学习来处理构建人工智能系统的问题。此外，它超越了典型的预测模型，将监督学习和非监督学习结合在一起。由此产生的范式称为「深度生成模型」，它从生成视角感知周围的世界。该方法假设每个现象都是由一个潜在的生成过程驱动的，这个生成过程定义了随机变量及其随机相互作用的联合分布，即事件发生的方式和顺序。「深度」的形容来自于一个事实，即分布是用深度神经网络参数化的。

深度生成模型有两个显著的特点。首先，深度神经网络的应用允许丰富而灵活的参量化分布；其次，使用概率论建立随机依赖关系的原则性方式确保了严格的公式化，并防止了推理中的潜在缺陷；此外，概率论提供了一个统一的框架，其中似然函数在量化不确定性和定义目标函数中起着关键作用。

《深度生成模型》这本书旨在吸引对该领域感兴趣的学生、工程师和研究人员，他们在本科微积分、线性代数、概率论、机器学习、深度学习、 Python 和 PyTorch (或其他深度学习库)编程方面有一定的数学背景。本书将吸引来自不同背景但希望了解深度生成模型的学生和研究人员，包括计算机科学、工程学、数据科学、物理学和生物信息学领域。

这本书用具体的例子和代码片段介绍了基本概念。每个章节中涉及的代码都已经在 Github 上公布：https://github.com/jmtomczak/intro_dgm

作者介绍

自 2019 年 11 月以来，Jakub Tomczak 是阿姆斯特丹自由大学计算智能小组的人工智能助理教授。此前，他是阿姆斯特丹高通 AI 研究中心的深度学习研究员。2016 年 10 月至 2018 年 9 月，他是阿姆斯特丹大学 Max Welling 教授小组的 Marie Sklodowska-Curie 个人研究员。

Jakub Tomczak 在波兰的弗罗茨瓦夫大学获得了机器学习博士学位。他的研究兴趣包括概率建模、深度学习、近似贝叶斯模型和深度生成模型(特别关注变分自动编码器和基于流的模型)。

书籍目录

本书的目的是概述深度生成模型中最重要的技术，让读者能够搭建新的模型并实现它们。书由八章组成，可以单独阅读，并且几乎能够按任何顺序阅读。第一章介绍了主题，重点介绍了深度生成模型和一般概念的重要类别。第二、三、四章讨论了边际分布的建模问题。第五章和第六章概述了联合分布模型的内容。第七章提出了一种不通过基于似然的目标学习的潜在变量模型。最后一章阐述了深度生成模型在快速发展的神经压缩领域中的应用。