学界 | 新型半参数变分自动编码器DeepCoder:可分层级编码人脸动作
选自arXiv
机器之心编译
参与:Panda
DeepCoder 是一个好名字,在今年的 ICLR 会议上,剑桥大学和微软就曾提出过一种 DeepCoder,可以组合其它程序代码来生成新程序,参阅机器之心的文章《学界 | 剑桥与微软提交 ICLR 2017 论文提出 DeepCoder:组合其它程序代码生成新程序》。前段时间,又有其他研究者提出了另一种 DeepCoder——一种用于自动面部动作编码的半参数变分自动编码器。机器之心对本文进行了摘要介绍。
论文:DeepCoder:用于自动面部动作编码的半参数变分自动编码器(DeepCoder: Semi-parametric Variational Autoencoders for Automatic Facial Action Coding)
论文地址:https://arxiv.org/pdf/1704.02206.pdf
人脸的表征能表现出一种固有的层次结构(即可以通过一套面部动作单元(AU)和它们的强度来对整体面部表情进行编码)。变分(深度)自动编码器(VAE)已经在大规模图像数据的层次化隐含表征的无监督提取上得到了优良的结果,同时还能在存在噪声和其它我们不想要的伪影时保持稳健。潜在地,这会使 VAE 成为一种学习 AU 强度估计的面部特征的合适方法。然而,大多数现有的基于 VAE 的方法都应用了与编码的特征分开学习到的分类器。相反,高斯过程(GP)等非参数(概率)方法通常比相对的参数方法表现更好,但却无法轻松处理大量数据。为此,我们提出了一种全新的 VAE 半参数建模框架 DeepCoder,它将参数(卷积)和非参数(ordinal GP)VAE 的建模能力结合到了一起,用以联合学习 (1) 任务层次中多个层级的隐含表征,(2) 多个有序输出的分类。我们在 AU 强度估计的基准数据集上的实验表明,我们提出的 DeepCoder 的表现优于当前最佳的方法以及相关的 VAE 和深度学习模型。
图 1:我们提出的 2 层 DeepCoder:输入是面部图像,输出是重建的面部图像和 AU 强度水平。顶部的变分卷积自动编码器(VAE)的表现比面部特征的第一级编码(Z0)更好,而这些特征的进一步编码(Z1)使用 ordinal GP 变分自动编码(VO-GPAE)针对 AU 强度估计进行了优化
算法 1:DeepCoder 的学习和推理
图 3:FERA2015:(a) MSE 重建误差,(b) VO-GPAE 的 NLPD,(c) 每个数据点估计的变分下限,(d) AU 强度估计的 ICC,和恢复的隐空间:Z0 (e) 和 Z1 (f)
本文为机器之心专栏,转载请联系本公众号获得授权。
✄------------------------------------------------
加入机器之心(全职记者/实习生):hr@jiqizhixin.com
投稿或寻求报道:editor@jiqizhixin.com
广告&商务合作:bd@jiqizhixin.com
关注公众号:拾黑(shiheibook)了解更多
[广告]赞助链接:
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/
随时掌握互联网精彩
- 1 奋力打开改革发展新天地 7914334
- 2 中国黄金原董事长家搜出大量黄金 7964611
- 3 空调英文不会男生盯着考场空调看 7891540
- 4 “冷资源”里的“热经济” 7758137
- 5 被铁路售票员的手速惊到了 7656921
- 6 网红赤木刚宪爆改赵露思 7557268
- 7 特朗普想拿下世界第一大岛 7480229
- 8 山姆代购在厕所分装蛋糕 7302458
- 9 女演员陈丽君回应获最佳男主角奖 7233692
- 10 刘强东提前发年终奖 7176281