计算摄影改变了我们用手机拍照的方式。不过，您可能没有注意到，因为最终的效果是我们不再需要考虑手机摄像头的局限性，以及特定场景是否太多而无法处理。
当我们回顾智能手机的早期岁月时，我们曾经认为代表“好”手机摄像头的东西在今天看来几乎是可笑的。
图片的过度曝光部分经常出现，与2022年价格适中的中端智能手机相比，即使是最好的相机也能拍出令人沮丧的低光照片。
这一切都归功于由计算技术提供支持的激进动态范围增强和多重曝光夜间模式。他们经常让带有婴儿指甲大小的摄像头传感器的手机在经过Photoshop编辑和微调后，产生与DSLR图像相当的效果。
受益最大的关键场景类型是低光环境和具有超高对比度的环境，在过去，这些场景的部分画面会太亮或太暗。以日落为例。
等待计算视频革命
然而，直到现在我们还没有真正在视频方面有过相同的体验。高端手机非常适合静态照片，但大多数手机在光线较复杂的情况下拍摄视频时都会摔倒。出色的照片体验只会突出问题。这就是计算视频要解决的问题。
计算视频带来了一系列新的挑战，因为时间不在我们这边。一部手机可能需要几秒钟的时间来确定其相机拍摄的静止图像的外观，将其从十几个单独的曝光中构建出来，并花费大量时间将它们组合在一起。
我们没有视频那么奢侈，每秒钟的镜头可能每秒包含30或60张单独的图像。手机无法通过多次曝光制作视频的每一帧，因为根本没有时间捕捉它们，更不用说处理它们了。
为计算视频寻找一套全新的解决方案是目前各大高端手机制造商的首要目标。这已成为NPU处理器的一项重要工作，目前NPU处理器的功率扩展速度比手机的任何其他部分都快。
NPU是一个神经处理单元，它处理机器学习和“AI”工作负载。当它们第一次出现时，我们认为它们将用于增强现实体验，例如将游戏片段渲染到相机所见的真实世界视图中的游戏。它们是，但事实证明，人工智能、机器学习和神经处理可用于摄影的方式实际上要重要得多。
这些神经处理器的具体优势在于它们可以在很短的时间内处理大量指令，同时使用很少的功率。正如我们已经发现的那样，这正是计算视频所需要的。
然而，这只是资源。手机制造商可以用它做什么，哪些技术可以使计算视频像静止图像一样强大?让我们看看他们可以使用的一些技术。
一套技术
回到本质，我们有2DNR和3DNR，二维和三维降噪。这是从噪声中分离细节的过程，试图在不减少图片中真实视觉信息的情况下消除噪声。
所有相机都已经使用降噪功能，但更强大的神经处理能力让新手机可以采用更先进的NR算法来更有效地完成这项工作。
2D和3DNR有什么区别?在2D降噪中，您可以自行分析帧。您可以利用其他人拍摄的数百万张外观相似的照片来使用机器学习技术，但每一帧都被有效地视为静止图像。将像素与附近的像素簇进行比较，以识别和消除图像噪声。
3DNR添加的附加维度不是深度而是时间。降噪是基于连续帧中出现的内容，而不仅仅是来自单个帧的图像数据。
iPhone13专业版
苹果的iPhone13ProMax也在推动相机边界(图片来源：TechRadar)
计算视频的任务是同时实现两种类型的降噪，但在场景的正确部分使用正确的技术。3DNR非常适合图像中相对静止的区域。
在弱光下拍摄时，所需的高感光度水平会使照片看起来充满噪点。时间3D降噪使手机有更好的机会保留真实的细节，而不会让它看起来逐帧出现和消失。
但是，3DNR对于移动对象并不是一个很好的解决方案，因为您最终会尝试比较一组根本不同的图像数据。手机需要将运动中的图像部分和静止区域分开，应用不同形式的处理，并准备好将这些区域从半秒更改为半秒。
而且，当然，处理的强度也必须随着剪辑中光线水平的变化而切换。
去源头
我们还需要手机捕捉更好的数据，首先产生更少的噪音。我们如何在不使用具有更高自然光灵敏度的更大传感器的情况下做到这一点?
更好地使用光学稳定(OIS)是一种途径。在手机中，这通常涉及一个电机，该电机略微移动镜头以补偿用户手中的任何运动，尽管现在手机中也存在传感器移位稳定性。后者是高端无反相机的核心功能。
这种运动补偿让手机可以使用较慢的快门速度，同时避免图像数据模糊。夜间拍摄时，曝光时间越长，手机摄像头构图的数据就越好。而当以30fps拍摄时，最大的理论窗口显然是1/30秒。
在镜头稳定OIS的帮助下，计算视频可以动态利用最大曝光窗口的概念。
在某些光线较暗的情况下，即使您选择了60fps拍摄，手机也会受益于将帧速率降低到30fps。这使最大曝光时间加倍，让相机捕捉到的画面细节更多，噪点更少。
然后可以通过插值生成“缺失”帧，其中通过查看我们拥有的帧之间的图像数据差异来生成间隙图像。对于传统摄影师来说，这听起来像是异端邪说，但它触及了计算成像方法的核心。
结果很重要。你如何到达那里并不重要。
为什么停在30fps?一部手机甚至可以降到15fps等低得多的帧速率，但仍然可以创建60fps的视频，如果场景相当静止，这看起来会很棒。
帧速率越低，最大曝光窗口就越长。不过，那时我们正在谈论理论技术。据我们所知，还没有手机能走那么远。
但是，有一个问题。OIS是我们用来使慢速快门速度可行的技术，它只能在一端补偿运动。它可以避免握手模糊，而不是有人跑过帧的运动模糊。
正如我们在降噪中看到的那样，最佳计算解决方案可能会根据帧中发生的情况随时变化。计算视频的角色之一就是处理这个问题，动态改变捕获率。
还有一种硬件技术可以提供帮助，称为DOL-HDR。您可能很熟悉静止图像的“正常”HDR模式。这是将几帧整理成一张照片的地方。在电话世界中，这可能意味着从3到36张图像不等。
对于视频来说，没有时间这样做，而且在捕捉这些曝光时场景中发生的细微变化的时间也很短——这会在处理不当的HDR模式下导致一种称为重影的效果。DOL-HDR通过使用单个相机传感器同时拍摄两张照片来避免这些问题。
如何?来自典型相机传感器的数据是逐行读取的，就像打印机头在一张纸上工作一样。一行像素跟随下一行。
DOL-HDR一次记录每行的两个版本，一个是曝光时间较长的图像，另一个是曝光时间较短的图像。这种HDR可以很好地用于光线水平存在大量对比度的场景，例如日落。
但是，如果它可以用来捕捉具有不同快门速度的视频帧集，而不仅仅是不同的感光度设置(ISO)，那么DOL-HDR也可以用来最大化夜间视频的运动细节和动态范围。
想象一下我们之前提到的场景。我们正在拍摄一段相对静止的低光视频，但有人穿过画面，我们不希望他们出现运动模糊的混乱局面。
使用DOL-HDR，我们可以使用短曝光来获得更清晰的移动人物视图，使用更长的曝光来获得更好的场景效果。DOL-HDR中的“HDR”可能代表高动态范围，但它在其他方面也很有用。
计算视频的工作是在无数不同的拍摄风格和技术之间无缝循环，并承担不断增加的处理负担。
我们概述的那些可能只是手机制造商也会使用的一些。现在的问题是，哪些手机将在2022年及以后最好地处理计算视频?
免责声明：本文由用户上传，如有侵权请联系删除！