特朗普究竟用不用 iPhone 拍媒体照？

iPhone 手机的强大照相功能，已经使得所拍照片，可以作为海报来使用。那么，苹果新手机的相机，究竟有多优秀？美国政要是否也会使用苹果手机来拍照呢？本篇文章即将为你揭秘！

苹果最新图像系统，可媲美单反相机的质量

苹果最新的图像系统使用了硬件、软件、神经引擎和大量的计算，来产生媲美单反相机的质量。

在苹果公布了一系列新的iPhone产品和令人惊叹的摄影功能几分钟之后，我在Apple Park访客中心邂逅了明星摄影师Pete Souza。

不知为何，Souza并没有被像我这样崇拜他的技术和才智的粉丝包围，要知道他可是拍下了里根和奥巴马两位总统的名人摄影师，他的才华从Instagram上可见一斑。于是我试着跟他打了招呼。

“您好，是Pete Souza吗？”当时Souza正在低头看他的iPhone，寻找在哪儿能打到Lyft。他抬起头来，在午后的阳光下眯着眼睛，说：“是我。”

后来Souza在电话中告诉我，苹果请他参加iPhone XS的发布会，但他并不知道苹果想让他干什么。他说，“管它呢，去了再说吧。”

在访客中心的门外，Souza和我开始比较苹果的新产品iPhone XS、XS Max和XR的新相机功能。

iPhone XS型号的双1200万摄像头的规格，与第一代iPhone X几乎没有变化：两个垂直排列的1200万像素摄像头，一个是f1.8广角，一个是f2.4双倍变焦，此外还有个700万像素的前置摄像头，是其TrueDepth模块和传感器技术的一部分。

但是，这几个摄像头的背后，是新的图像传感器、镜头，以及A12 Bionic芯片组带来的崭新的图像信号处理器。

像我一样，Souza对人像模式下能够在拍照之后，调整背景模糊效果的功能感到很惊讶，更神奇的是，不论前置还是后置双摄像头，都支持这一功能。他告诉我，消费者应该不会记住界面上显示的光圈数字。

后来，Souza在电话里说，“我觉得消费者在用这个功能时，完全不会理解它什么意思。”不过他也说，消费者能理解最终的效果，因为“往一个方向拖动，背景就会变得模糊，另一个方向会让背景变得清晰。”

“我喜欢团队做出的这个决定，它是对摄影艺术、及巧妙利用镜头特性的作品的尊重。”当我问起景深编辑器中的光圈数字时，苹果的全球市场高级副总裁Phil Schiller如是说。

Schiller和苹果相机硬件高级总监Graham Townsend、苹果软件副总裁Sebastien Marineau-Mes，在iPhone XS发布会当天下午坐在一起，揭秘苹果的iPhone技术中的一部分，即他们的摄影、视频捕捉硬件、软件的设计和开发。

消费者在手机上和照片编辑软件中，看到的光圈数字，并不仅仅是在模拟单反相机中的曝光控制。Schiller告诉我，Apple创建了一个精确的模型，来模拟真实的镜头和光圈数字的行为。

在真实的相机中，f数字越大，表示光圈越小，景深越长。换句话说，f1.4可以实现前景清晰、背景模糊的效果，相反，f16会让前景背景中的一切都很清晰。

在智能手机上，第一次实现这种摄影技术，是2016年发布的iPhone 7 Plus及其人像模式，它利用双摄像头系统拍摄的两张图像（及一些算法）来创造背景模糊的效果。

这项技术本身的目的，是让iPhone摄影的业余爱好者，将普通的照片变成专业级别的照片。但是，它只能实现双层景深，同期许多其他基于智能手机的人像模式照片都是如此。

前景对象所在的的照片聚焦，背景所在的照片模糊。三星第一个实现了可调整的模糊，可以在拍照过程、或后期处理中使用，但三星的Live Focus依然把图像当成两张来看。

像真正的镜头一样

使用新的iPhone XS和XS Max后，我们明白的一点是，景深滑块几乎在前景和背景之间，捕获了无限的平面，苹果称之为“镜头建模”。

“我们将镜头的模型转成数学模型，然后应用到图像上。”Mariuneau-Mes说，“之前从没有人这样做过，他们只是在模糊背景而已。”

而后期处理方面，不论你使用iPhone XS的前置700万像素单摄像头自拍，还是使用iPhone XS或XS Max的双摄像头拍人像，或者使用iPhone XR的后置1200万像素单摄像头，后期处理都能正常工作。

简单来说，苹果采用了三种截然不同的景深信息捕捉技术，来获得同样的景深编辑效果。

Townsend介绍说，他们使用了三种不同的信息来源：TrueDepth模块中基于点阵的深度传感器，XS和XS Max后置的双1200万像素摄像头的立体图像，以及XR上几乎完全由算法组成的解决方案。

最值得一提的，是苹果的景深编辑技术，它可以让你在不改变曝光量的前提下改变光圈。

在传统的单反摄影中，任何光圈大小，都必须匹配正确的快门速度。较小的光圈意味着曝光不足，而若使用较大的光圈，如果不相应地增加快门速度，就会让照片曝光过度。

但是，在iPhone XS中只需要前后调整景深，就能调整模糊程度，同时保持曝光量不变。这需要大量计算，但Marineau-Mes说一切计算都是实时进行的。

追求专业品质

Souza在华盛顿特区的自然历史博物馆测试iPhone XS时，这样描述景深编辑功能：“太棒了，太棒了。”

他在博物馆的真人大小的史前人类微缩景观上，测试了人像模式。即使是透过玻璃柜，其效果也非常赞。“能够改变光圈大小同时保持聚焦……我用的是舞台光（人像模式中的设置之一）来降低背景亮度，但人像的眼睛依然能保持锐利。”他说。

Souza还说，“我认为这可以媲美……我用的佳能85mm镜头，加上最大光圈，就那种效果。”

Souza作为一名苹果和iPhone爱好者，他不像那些经常换手机的人，这位63岁的摄影师，说他从没用过其他品牌的手机。

他说，在拍摄奥巴马时，会使用单反（他解释说“这些照片会成为国家历史档案”），但他总是会带着iPhone（从5到7），来拍摄休闲的照片。他还说，“我用iPhone拍了几百张雪景照片、玫瑰园照片，里面都没有人物。”

显然，专业摄影师能够理解智能手机摄影的限制。即使有了多摄像头、望远功能和后期处理，手机也很难取代，全幅35mm传感器和55mm或更大的镜头。

但这并不能阻止苹果尝试的脚步。苹果在多个方面，尝试将专业摄影的功能，交给几百万iPhone用户，并将图像捕捉（包括照片和视频），作为一个系统来解决。

“我们不是硬件公司，也不是软件公司。我们是系统公司。”Townsend说，并强调苹果能在大量消费级电子设备中，脱颖而出的关键在于，他们拥有整个技术栈的控制，能够完成软硬件方面，从设计到开发的几乎一切工作。

“我们能够设计一切，从光子第一次进入镜头开始，直到它成为捕获的文件中的一个点。只有苹果才能设计并组合一切。”Townsend说。

苹果这样做的部分原因是，图像这种复杂系统中，正常工作的组件，并不一定会一直正常工作。苹果喜欢从第三方定制部件，是出了名的，但他们想做更多。

为了创造双摄像头系统，苹果必须保证两个镜头，处于精确的位置和角度。

“我们的标准很严格。”Schiller笑着说。

如果某个合作伙伴，表示无法按照苹果的规格制造，苹果就会寻找相机制造专家来制造。苹果说，他们与制造商一起改进设备。

“我们的重要目标是第一台手机、第100万台手机和第1000万台手机的规格，在人类能做到的极限内尽可能接近，为此我们付出了巨大的努力。虽然我们并没有经常提到这一切……但是，世界上的任何两台手机之间，不会有大的差异，这一点对我们十分重要。”Townsend说。

在内部，苹果的硬件和软件团队经常一起开会，来定义他们要用新型A12 Bionic芯片（该芯片花了三年时间开发），和在iPhone XS等新硬件上开发的图像功能。

“架构上，开发HDR的决定，是在讨论芯片架构一开始就确定的。”Townsend说。

即使如此，不同的部件，也可能在不同的时间到达。因此，既有事先制定好的架构计划，也有随时的调整。

此外，苹果的HEIF格式，带来了更高的质量和更小的文件。如果A12的开发始于三年前，而当时有两三代iPhone相机系统正在开发，那么必须作出调整，让图像处理芯片（ISP）匹配最新的镜头和图像传感器。

幸运的是，Marineau-Mes说他的团队，仍然能对ISP（A12芯片的一部分）进行编程，以适应iPhone XS、XS Max和XR中的镜头和传感器。

当然这会有代价。“我们要在镜头中实现，才能得到更好的图像，但也同时要在ISP中实现。”Sebastian Marineau-Mes说。

这种跨部门的合作，在苹果图像处理皇冠上的第二颗明珠——Smart HDR的开发过程中极其重要。

传统HDR利用一对曝光时间不同的图像，来捕获照片的暗区和高光区。由于照片千差万别，即使是最好的HDR照片，一些细节（也可能是很多细节）也不得不丢弃。

否则最终合成的图像，会包含显著的噪声，特别是在运动摄影中。此外，HDR还会导致快门延迟，这意味着运动摄影几乎不可能使用。

在我对iPhone XS和XS Max的测试中，Smart HDR能在高难度的情况下，拍摄出高质量的图像，能碾压仅一岁的iPhone X。

正如Schiller在Keynote演讲中所说，每张照片上都要经过上千亿次操作，才能实现现在的效果，但一切都从ISP和它的高性能开始。

Marineau-Mes告诉我，相机首先会用不同的光圈，在1/30秒内捕捉两张图像。这两张图像被传递到软件流水线、和A12的神经引擎中，开始对图像进行分析。

但Smart HDR并不会止步于此。“原始图像会以30fps的速度捕捉（也就是说每1/30拍摄两张照片），然后在之后的几百毫秒内进行合成。”Marineau-Mes指出。

A12芯片内部的神经引擎，不仅会分析每帧图像的曝光，还会分析各个图像元素。它能识别出面部特征并寻找运动。如果系统检测到运行，就会寻找运动最锐利的那一帧，将其加入图像中。

类似地，对于带有红眼的照片，不仅是简单地修复红眼部分，还会尝试用没有红眼的帧进行替换，或用没有红眼的帧中的眼睛颜色来修复。

早些时候，苹果给我展示了一张照片，是一个扎着脏辫的男人站在湖里。逆光很严重，尽管我能看到他的身形。他的头发正在甩动，所以脏辫飞出水面，水珠飞到了空中。

如果这张照片让我用单反来拍，我会将快门设置到至少500fps，但光圈大概在f11左右，以保证一些景深。我还会提高ISO来获得足够的光线，但这很可能会导致大量的噪点。

但这张捕捉时机和曝光都很完美的照片，是用iPhone XS拍的。

“我们会设置一个参考帧，并用多个帧的信息进行混合。”Marineau-Mes说。我看到的这张照片是由多帧合成的。一些帧包含了最终照片的一部分，如极其锐利的头发和水珠。

“在合成帧的时候，如果各帧的图像一样，就能得到极低的噪声和更好的细节。”他解释道。

Marineau-Mes说，这需要极其强大的ISP和神经引擎，并需要同样强大的GPU和CPU支持这些处理。

所有这一切，在你按下iPhone相机应用的虚拟快门按钮之前就开始了。Schiller说，这就是为什么用户在iPhone XS、XS Max和XR的屏幕上看到的与最终照片没有太大差距的原因。

Schiller说，“你需要这一切。对于用户来说，一切都必须是实时的。”

我问他们，收集这些信息会如何影响文件大小，他们回答说，苹果的HEIF格式，能实现更高的质量和更小的文件尺寸。

“我们的相机是为真实的人在真实的需求下设计的。”Townsend说。“他们没有三脚架，也不=在实验室中。他们要求的是，不用多想就能拍出漂亮的照片。”

Townsend说，有时，苹果的工程师，会偶然地得到更好的图像技术。去年，苹果加入了闪烁检测，它能找出光源的闪烁频率，并尝试在静态照片和视频中减少闪烁。

虽然白炽灯和日光灯的闪烁频率是恒定的，很容易确定曝光时间，但现代的节能LED的频率各不相同，特别是那些会变色的灯。

今年，苹果工程师继续扩大频率识别的范围，以进一步消除闪烁。但在这个过程中，他们发现能够立即识别出，画面中的太阳（Townsend说，“因为太阳不闪烁”），从而能够立即将白平衡，调整为自然光。

“我们的工程师在努力实现那个功能的过程中，发现了这些信息。所以，这是从闪烁检测中得到的额外奖励。”Townsend说。

视频和新技术

所有这些图像捕捉功能，都可以用在视频上，因此视频也会进行实时的逐帧分析，从而在任何光照条件下，都能产生足够的细节。

在我来看，有了这些技术，苹果甚至可以将景深编辑器，应用到视频上，给日常拍摄的视频，也加上专业级的失焦背景，但当我问起Schiller时，他只是说苹果不会对未来的计划做任何评论。

不论是视频还是静态招聘，最终的结果，是苹果的更高水准的照片，甚至可以说是一切智能手机的最高水准的照片。

Townsend告诉我，人们说“我不敢相信这照片是我拍的”。这证明了苹果达到了更高的目标。

“我们的相机是为真实的人在真实的需求下设计的。”Townsend说。“他们没有三脚架，也不在实验室中。他们要求的是不用多想就能拍出漂亮的照片。”

回到Souza的手机的话题上。他的新书《Shade》将于十月开售，这是本关于奥巴马和特朗普的对比影集。

他告诉我，他对iPhone的拍照能力感到十分震惊。“我对于iPhone能拍摄到的微距感到很震惊。iPhone最小的聚焦距离比单反相机还要好，除非你装了微距镜头。”

那天早上，Souza打印了一组他用iPhone XS拍摄的照片。他说他认为这些照片看起来像是用单反拍摄的。

我给Souza发邮件问了最后一个问题。如果总统要他去拍照，他会用iPhone来拍官方照片，还是依然使用单反？

“单反。”他回答，估计这个回答会粉碎一些苹果粉的梦吧。“虽然我还是会用iPhone拍照发到Instragram上。”

而许多像Souza一样的摄影师，在选择随身携带的iPhone、还是昂贵的单反时进行的衡量，可能正是苹果最希望消除的吧。

原文：https://medium.com/s/story/inside-apples-iphone-xs-camera-technology-50d47ba7be8f

作者：Lance Ulanoff，科技专家，记者。

译者：弯月，责编：胡巍巍

推荐阅读：

• 为什么说担心 AI 抢人类饭碗纯粹是多余？
  

• 算法和编程面试题精选 TOP50！(附代码+解题思路+答案)
  

• 一场来自腾讯的自我革命，已然来临！
  

• 10分钟搞懂区块链扩容，4个解决方案拿走不谢
  

• 程序员保命指南：专治无规范代码！
  

• 9月Python开源项目Top10
  

• 程序员加班到2点 隔天迟到半小时 被告知下不为例

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/