经过一段实际使用,我们尝试探讨 iPhone 7 Plus 双摄像头的内部机制。
本文来自数码多(微信:realsoomal),作者夏昆冈,极客公园授权转载。
苹果不是第一个搞双摄像头的,当双摄像头的 iPhone 7 Plus 发布时,即刻被寄予很高的期待。双摄像头目前来说还不成熟,消费者和业界都期待有超级实力玩家入场,大家也很期待苹果能玩出什么花来。经过一段实际使用,我们可以尝试探讨探讨 iPhone 7 Plus 的内部机制。
非对称双摄像头
Apple 苹果 iPhone 7 Plus 智能手机-双摄像头
双摄像头的类型大致分为对称型和非对称型设计。iPhone 7 Plus 显然属于非对称型设计,两个镜头参数并不一致,一枚等效焦距 28 毫米,光圈 F1.8;一枚等效焦距 56 毫米,光圈 F2.8。类似的设计是 LG G5,不过 G5 使用了一颗超广角镜头实现的非对称。
Apple 苹果 iPhone 7 Plus 智能手机-双摄像头模组 [图片来自 ifixit.com]
非对称设计会带来一些设计上的障碍,例如两颗摄像头体积不能相差太大,这样的约束几乎无法回避。所以 iPhone 7 Plus 的 56 毫米镜头只能把光圈做小点,为了提高等效焦距,感光器尺寸也得妥协,比 28 毫米镜头的光圈要小,这是肯定的。即便这样,56 毫米镜头还舍弃了光学防抖机构,这样才能将两者做到体积相当。
56 毫米是精妙之选
Apple 苹果 iPhone 7 Plus 智能手机-28 毫米和 56 毫米镜头视野的区别
Apple 苹果 iPhone 7 Plus 智能手机-28 毫米和 56 毫米镜头视野的区别
无法做到无损变焦,一直是手机摄像头的痛点,也是卡片相机唯一的优势了。双摄像头的出现,提供了一种不算完美的方案。iPhone 提供了 28 毫米和 56 毫米两个焦距,在这两个焦距上可以做到画质最佳化。28 毫米焦距可以应付风景,56 毫米可以更好的拍摄小品、人像类,应用场景得到扩展。提供两个焦距不能称为光学变焦,但降低了用户对光学变焦的需求。LG G5 也提供了 9 毫米和 28 毫米两个焦段,但 9 毫米太不常用了,对于一般用户来说,56 毫米更为实用好用,它可以用来拍人拍湘菜川菜粤菜卤菜淮扬菜。
苹果官方称可以 10 倍变焦,这是指的数字变焦,因为有了双焦距的支持,可模拟的数字变焦范围变得更大。
不对称中的对称设计
两个镜头参数差距甚大,一个有光学防抖一个没有,这将导致两个摄像头在弱光环境下的表现不一致,差距太大会导致体验明显差异,LG G5 就出现了类似问题,超广角画质差太多。苹果是不是有解决方案?
Apple 苹果 iPhone 7 Plus 智能手机-实拍-歌手
(制造商=APPLE;型号=IPHONE 7 PLUS;镜头=iPhone 7 Plus back iSight Duo camera 6.6mm f/2.8;焦距=7 毫米;等效焦距=57 毫米;光圈=F2.8;测光模式=单点;感光度=ISO320;白平衡=自动;曝光补偿=-1.8EV;曝光时间=1/50 秒;曝光程序=程序模式;场景类型=标准;日期=2016.10.17 17:29:53)
Apple 苹果 iPhone 7 Plus 智能手机-实拍-首都博物馆-佛手
(制造商=APPLE;型号=IPHONE 7 PLUS;镜头=iPhone 7 Plus back iSight Duo camera 3.99mm f/1.8;焦距=4 毫米;等效焦距=63 毫米;光圈=F1.8;测光模式=单点;感光度=ISO64;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/17 秒;曝光程序=程序模式;场景类型=标准;日期=2016.10.19 13:34:13)
Apple 苹果 iPhone 7 Plus 智能手机-实拍-猫
(制造商=APPLE;型号=IPHONE 7 PLUS;镜头=iPhone 7 Plus back iSight Duo camera 6.6mm f/2.8;焦距=7 毫米;等效焦距=57 毫米;光圈=F2.8;测光模式=单点;感光度=ISO25;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/50 秒;曝光程序=程序模式;场景类型=标准;日期=2016.10.26 15:09:45)
Apple 苹果 iPhone 7 Plus 智能手机-实拍-首都博物馆-喜金刚 [滤镜]
(制造商=APPLE;型号=IPHONE 7 PLUS;镜头=iPhone 7 Plus back iSight Duo camera 3.99mm f/1.8;焦距=4 毫米;等效焦距=63 毫米;光圈=F1.8;测光模式=单点;感光度=ISO80;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/17 秒;曝光程序=程序模式;场景类型=标准;日期=2016.10.19 13:37:23)
这几张样张,均是在 56 毫米焦距下拍摄。请仔细看,EXIF 信息中记录的焦距信息并不一样,有两张是记录为 28 毫米镜头拍摄,但等效焦距为 63 毫米,另外两张记录为 56 毫米镜头拍摄。这是为什么?
这是合成的结果。iPhone 从 5s 起引入数字防抖系统,这是一种基于多帧技术的防抖技术,而从 iPhone 6 Plus 起,又加入了光学防抖系统,结合以前得数字防抖形成了一种极其有效的混合防抖机制。那么,iPhone 7 Plus 的两颗镜头,对应的防抖系统是不一样的,一个是光学数字的混合防抖,一个是数字防抖,加上焦距光圈都不一样,两颗镜头对环境光的强弱反应会完全不一样。简单说,28 毫米镜头可以适应暗得多的环境。重点要来了。
当光线弱到 56 毫米镜头需要启用安全快门时,28 毫米镜头会被启用,实现双摄像头同时采样。结果是两枚镜头合成出来的,这种情况下,EXIF 会记录镜头信息为「iPhone 7 Plus back iSight Duo camera 3.99mm f/1.8」,即 28 毫米镜头。那么等效焦距 63 毫米又是什么鬼?
Apple 苹果 iPhone 7 Plus 智能手机-实拍-小金猪 [28 毫米焦距]
(制造商=APPLE;型号=IPHONE 7 PLUS;镜头=iPhone 7 Plus back iSight Duo camera 3.99mm f/1.8;焦距=4 毫米;等效焦距=28 毫米;光圈=F1.8;测光模式=模式;感光度=ISO100;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/17 秒;曝光程序=程序模式;场景类型=标准;日期=2016.11.17 21:46:39)
Apple 苹果 iPhone 7 Plus 智能手机-实拍-小金猪 [56 毫米焦距]
(制造商=APPLE;型号=IPHONE 7 PLUS;镜头=iPhone 7 Plus back iSight Duo camera 3.99mm f/1.8;焦距=4 毫米;等效焦距=63 毫米;光圈=F1.8;测光模式=模式;感光度=ISO80;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/17 秒;曝光程序=程序模式;场景类型=标准;日期=2016.11.17 21:46:45)
我们制造了一个弱光环境,用于重现激活条件,重复试验很顺利的完成,使用 56 毫米镜头拍摄确实会被记录成 28 毫米的,而等效焦距则变成了 63 毫米,这个应该是个无所谓的 bug。
再来探讨一下采样机制。
Apple 苹果 iPhone 7 Plus 智能手机-双镜头采样示意
焦距相差一倍,56 毫米的影像相当于 28 毫米中央部分的区域,这个区域相当于全部画面的 1/4。这个 1/4 区域就是 28 毫米镜头的采样区域。它对应的像素是总像素 1200 万的 1/4,即 300 万。但别忘了,28 毫米镜头的光圈大,通光量是 56 毫米镜头 2.4 倍,意味着 28 毫米镜头可以在保证画质的情况下更快速的采样,以更频繁的采样实现总采样量接近,有点类似于部分 Android 手机的「高画质模式」,用「过采样」来实现画质提升。这也多少弥补了 56 毫米镜头没有光学防抖的短板。
这种双重采样机制,将 28 毫米镜头裁切成 56 毫米,这样实现了焦距的对称,是不对称中的对称设计。
有限制的虚化
Apple 苹果 iPhone 7 Plus 智能手机-实时的景深模拟
Apple 苹果 iPhone 7 Plus 智能手机-人像模式需要足够的光线
iPhone 7 Plus 的人像模式,即模拟焦外虚化的模式,开启模式后,屏幕下方会显示「景深效果」的字样,它能实时渲染虚化效果,这得益于 A10 Fusion 内置强大的图像处理器,按照官方的说法是「图像信号处理器会进行超过 1000 亿次运算」,这在以前是不可想象的。
这种模式也被提示为有限度的使用。它的使用距离是 33 厘米到 250 厘米之间,超出范围即会提示。它也需要足够的光线才能工作。而虚化模式被称为人像,这也是在提醒用户它适合拍摄的题材。这在样的限制下,模拟虚化的功能可以实现一定的实用性。
为什么需要作出如此多的限制,苹果就差说一句「只适合拍大头照」,这是有原因的。
左摄像头看到的茶壶
右摄像头看到的茶壶
左右图像叠加
双摄像头在模拟虚化功能上,起到的作用是利用相差来剥离主体,两枚摄像头其实是不够的。它只能提供一个大致的轮廓,理论上是摄像头越多,可利用的相差就越多,是几何级的增加,这时得到的轮廓才会更加精准。也正因为这种不准确性,使得模拟虚化的功能并不是应用于所有参加的拍摄,而人像却比较合适,一个是人头的轮廓相对简单,剥离起来相对容易,二是利用一些辅助技术可以帮助获得相对精准的轮廓。
专业图像软件的自动抠像
现在的软件越来越聪明,使用自动化的抠像功能也会有不错的结果。如果这种自动抠像算法用于模拟虚化功能中,对提升轮廓的精准度是有帮助的。
Apple 苹果 iPhone 7 Plus 智能手机-原图与虚化处理的对比
Apple 苹果 iPhone 7 Plus 智能手机-原图与虚化处理的对比
Apple 苹果 iPhone 7 Plus 智能手机-原图与虚化处理的对比
Apple 苹果 iPhone 7 Plus 智能手机-原图与虚化处理的对比 [失败的例子]
这里有四组对比,可以看到,人像的轮廓边缘就算不那么精准,对观感的影响并没有多大。其中有一组失败的例子,可以看到抠像算法确实存在,但在这里起到副作用了。
Apple 苹果 iPhone 7 Plus 智能手机-双镜头采样示意
再次引用此图,iPhone 7 Plus 在人像模式下使用的是 56 毫米焦距,此时 56 毫米镜头是主镜头,而 28 毫米镜头通过局域采样,获得和 56 毫米一样的视野,提供剥离主体所必须的相差。但也只有这个功能,并不提供画质补偿,所以人像模式下的成像会相对差一些。
选择 56 毫米作为人像模式焦距,确实是聪明之选,传统摄影中,50-150 毫米都是适合用于人像拍摄的,这个焦段这个题材,对虚化的需求最大,实际上人文拍摄风景拍摄对虚化需求都不大。此外,使用 56 毫米焦距,也更有利于获得较小的视差,对获取相对精准的主体轮廓有利。
总结
- 非对称设计
- 56 毫米镜头实用性强
- 28 毫米加 56 毫米的焦距组合可以拍摄更多题材
- 通过区域采样实现对称设计才能实现的功能
- 使用 56 毫米镜头拍摄时,28 毫米镜头也会采样,增强画质
- 模拟虚化的功能被限定在人像模式
- 人像是最适合模拟虚化的功能的场景
- 人像模式能实时渲染虚化,无需脑补,这得益于强大的图像处理器
- 限定条件使得模拟虚化的功能有了更高的成功率
- 人像模式下,56 毫米镜头采样,而 28 毫米镜头也会区域采样,提供相差采样,但成像的主力是 56 毫米镜头
相比之前的任意一款双摄像头机型,iPhone 7 Plus 确实做到了不一样,它除了提供了 56 毫米焦距,这是一个常用的焦距,即便不考虑模拟虚化的功能,这个镜头的增加也让拍摄题材获得了更好的扩充。模拟虚化功能也做了有益的尝试并根据实际情况做了合理的限制,指导用户正确的使用而不是滥用。算法方面也比起竞品有一定的优势,可以看到,iPhone 7 Plus 的虚化虽然不完美,但在轮廓的精准度方面,比之前机型都要优秀一些。在中小尺寸的图样下,已经做得到难露破绽。技术加取巧,让 iPhone 7 Plus 的双摄像头体验有了实用化方向的进步。
注:由于资料匮乏,本文很多文字基于推测和分析,不一定正确,如果你是普通读者,权当聊资;如果你是果粉,想必你的信仰已获充值;如果你是竞品开发者,相信此文对你们也是有意义的。