资源 | 亚马逊机器学习专家:“深度高斯模型”可能为深度学习的可解释性提供概率形式的理论指导?(PPT)
本文授权转自专知公众号
在NIPS 2017上,亚马逊机器学习专家Neil Lawrence在在长滩现场进行了一场“基于高斯模型的深度概率模型”的演讲报告。这场报告Neil Lawrence形象化地讲解了使用高斯过程来建模深度网络,并且深入浅出地讲解了什么是机器学习,不确定性的含义以及深度神经网络和高斯过程的一些关联。
深度高斯过程
当前神经网络模型, 结构上非常清晰, 但是人们很难完整的把一个神经网络结构形式化成一个公式。而高斯过程正相反, 我们可以轻松的把任意一个高斯过程用公式完美刻画, 但当我们去用算法实现它, 却发现这是比较困难的。这篇报告中,作者试图使用高斯过程来代替神经网络中的一个层,来减少深度神经网络复杂的计算形式,这样使用一种概率模型的方式来进行深度神经网络的计算,可以为后续深度学习的可解释性提供概率形式的理论指导。
当我们听到“深度高斯过程”的时候, 我们在想些什么? 我们可能会问:
高斯过程能够做些什么? 它能够替换掉神经网络的某些层么?或者说, 有没有可能将高斯过程和神经网络的某些层结合起来做点事情?比如用高斯过程做神经网络的预处理, 或者先用神经网络提特征然后在feed给高斯过程?
有没有好的训练算法, 能够高效的解非常复杂的高斯过程? 类似现在的很多深度学习这样.
深度高斯过程的时间和空间复杂度是怎样的? 同样的任务, 相比于深度学习模型, 有哪些差异?
如何鲁棒?据说高斯过程在小数据集上比较work, 在有很多数据缺失的情况下也很鲁棒?
高斯过程数学公式很多,难学?高斯过程并不是很火, 那些公式的堆叠看上去非常复杂, 拿来用的话, 是不是要再补一补数学?
在NIPS 2017上, Neil Lawrence, 进行了题为 "Deep Probabilistic Modelling with Gaussian Processes"的报告, 把上面的问题, 清晰地阐述了一下。
Neil Lawrence简介
Neil Lawrence 是英国谢菲尔德大学教授,著名机器学习/高斯过程专家,现在加入亚马逊在英国剑桥领导一个机器学习团队。
个人主页:http://inverseprobability.com/
PPT简介
摘要
神经网络模型, 结构上非常清晰, 但是人们很难完整的把一个神经网络结构形式化成一个公式. 而高斯过程正相反, 我们可以轻松的把任意一个高斯过程用公式完美刻画, 但当我们去用算法实现它, 却发现这是比较困难的。在这篇报告里, 作者讨论深度高斯过程模型(Deep Probabilistic Modelling with Gaussian Processes), 类似所有高斯过程, 这一模型, 在数学形式上是简单和清晰的, 但在算法结构上充满挑战。
在文中, 作者将给出高斯过程的概述, 然后着重讲解如何基于变分来从算法上近似高斯过程, 从而将高斯过程堆叠起来, 形成我们的目标: deep Gaussian process. 报告最后, 会聊一聊深度高斯过程模型在uncertainty quantification上的应用, 以及与深度高斯过程相关的一些open questions。
PPT报告内容如下:
参考文献:
http://inverseprobability.com/talks/lawrence-nips17/deep-probabilistic-modelling-with-gaussian-processes.html
资源推荐
资源 | 想用Python学机器学习?Google大神替你写好了所有的编程示范代码
资源 | 亚马逊 AI 主任科学家李沐:动手学深度学习视频大全
资源 | Yann LeCun最新演讲:大脑是如何高效学习的?(附PPT+视频)
重磅 | 128篇论文,21大领域,深度学习最值得看的资源全在这了
爆款 | Medium上6900个赞的AI学习路线图,让你快速上手机器学习
Quora十大机器学习作者与Facebook十大机器学习、数据科学群组
Chatbot大牛推荐:AI、机器学习、深度学习必看9大入门视频
葵花宝典之机器学习:全网最重要的AI资源都在这里了(大牛,研究机构,视频,博客,书籍,Quora......)
☟☟☟ 更多学习资源,请戳原文
关注公众号:拾黑(shiheibook)了解更多
[广告]赞助链接:
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/
随时掌握互联网精彩
- 1 奋力打开改革发展新天地 7931575
- 2 保时捷断臂求生 7980607
- 3 刘强东提前发年终奖 7887819
- 4 “冷资源”里的“热经济” 7795769
- 5 全球约有1.9亿妇女为内异症患者 7643697
- 6 国足原主帅李铁已上诉 7586952
- 7 俄3人零下24℃山中待3天奇迹生还 7417852
- 8 渔民捕到205斤野生石斑鱼引围观 7388257
- 9 喝水后有4种表现提示肾有问题 7251190
- 10 吉尼斯纪录 世界最大锅杀猪菜 7186378