这种操作者，但只有当照相机在三脚架上，传感器/镜头能展开移动，这有时被称作“微步”（microstepping）。多年来，这种“超级分辨率”的高分辨率光学方法的应用于依然主要局限于实验室，或以其他方式掌控的设置中。

在这些设置中，传感器和主体是偏移的，它们之间的移动要么是无意掌控的，要么是受到严苛容许的。例如，在天文光学中，用相同的望远镜来摄制星空的移动轨迹。

但在当今智能手机等普遍用于的光学设备及应用程序中，超级分辨率的实际应用于仍是可望而不可及的。多帧超强分辨率功能必须符合一些条件。

首先，也是最重要的一点，镜头必须比所用于的传感器更佳地处置细节(忽略，你可以想象这样一个情况，镜头设计得很差，加到一个更佳的传感器没任何益处)。数码相机有的一种少见的且不热门的效果，叫作混叠（aliasing）。图像混叠当摄像机传感器无法心目中地回应场景中的所有模式和细节时，就不会再次发生混叠。

混叠的一个很好的例子是龟纹图案（Moiré patterns），当两种某种程度的图案以一定的角度重合不会经常出现的现象。由两组平行线产生的莫尔条纹,一组横向，另一组弯曲5°此外，当物体在场景中移动时，对物理特征(如表边)的混叠效果也不会发生变化。您可以在以下连拍序列中仔细观察到这一点，在连拍序列中，照相机的严重运动会产生时变的混叠效果:左图：高分辨率下的桌子边缘的单幅图像，右图：连拍产生的有所不同图像帧。混叠效果和云纹效果在有所不同的帧之间是可见的——像素或许跳来跳去，产生有所不同的彩色图案但是，我们也能因祸得福，如果分析混叠效果产生的模式，就不会获得颜色和亮度值的多样性，以构建超强分辨率。

尽管如此，要在手执移动设备和任何连拍序列中构建高分辨率，仍然有诸多挑战不存在。手部移动构建超强分辨率如前所述，一些单反相机获取了类似的三脚架超强分辨率模式，类似于我们目前叙述的方式。

这些方法依赖照相机内传感器和光学器件的物理运动，但必须照相机几乎平稳。然而，这在移动设备上是不切实际的，因为它们完全总是手执的。

然而，利用手部运动方案，我们将这个仅次于的难题变为了我们的优势。当我们用手执照相机或手机摄制一组照片时，画面之间总会有一些运动。光学图像平稳(OIS)系统可以补偿照相机的大运动——一般来说间隔1/30秒以内的5-20像素移动——但无法几乎避免更加慢、更加较低的幅度、大自然的手抽动。

当用于高分辨率传感器的手机照片时，这种手抖的幅度只有几个像素。在展开处置后，连拍中手掌抽动的结果为了利用手部晃动的优势，我们首先必须将高速连拍的照片排序在一起，我们自由选择高速连拍图像中的单个图像作为“恩”或参照帧，并偏移与之涉及的所有其他帧。偏移后，这些图像大体融合在一起。当然，手部运动不太可能将图像准确地移动单个像素，因此我们必须在每个新的捕捉的帧中放入邻接像素，然后将颜色流经基帧的像素网格中。

当由于设备是几乎平稳的(例如摆放在三脚架上)而没经常出现手部运动时，我们依然可以通过蓄意“晃动”照相机来超过仿真大自然手部运动的目的，通过强制OIS模块在镜头之间严重移动。这个移动十分小，自由选择的时候会阻碍长时间的照片——但是你可以在Pixel 3上自己仔细观察它，你可以把手机几乎相同，比如把它按在窗口上，或者最大限度地图形取景器。如下图右图，可以仔细观察远处物体微小但倒数的椭圆运动。解决超强分辨率的挑战以上是我们对理想过程的叙述，听得一起很非常简单，但是要构建超强分辨率并不是那么更容易。

有很多原因造成没被广泛应用到手机等消费产品中，例如其必须大量的算法创意。挑战可以还包括:即使在较好的光照条件下，连拍的单个图像也是有噪声的。一个简单的超强分辨率算法必须意识到这种噪音，并准确工作。

我们想只获得更加高分辨率的噪声图像——我们的目标是既提升分辨率，又能产生更加小的噪声。左：在较好的光照条件下摄制的单帧图像，由于曝光严重不足，依然有可能包括大量的噪声。右：连拍处置后拆分多帧的结果。

在连拍的图像之间的运动某种程度局限于照相机的运动，有可能有简单的场景中运动如风吹动的树叶、水面涟漪、汽车、人的面部变化、火焰的闪光——甚至一些无法被视作独立运动的如吸烟者。一般来说，几乎可信和局部对准是不有可能的，因此即使运动估算不极致，一个好的超强分辨率算法也要能用。因为大多数运动是随机的，即使有较好的偏移，数据有可能在图像的某些区域密集，而在其他区域稠密。超强分辨率的关键是一个简单的插值问题，因此数据的点状传播使得在网格的各个部分分解更加高分辨率的图像具备挑战性。

以上所有的挑战或许都使得超强分辨率在实践中不不切实际，或者充其量不能局限于静态场景和放到三脚架上的照相机。利用Pixel 3上的Super Res Zoom，我们研发了一种平稳、准确的连拍分辨率强化方法，它用于大自然的手部运动，并且充足强劲，可以部署在手机上。以下是我们解决问题上述挑战的方法:为了在高速连拍（Burst Photography）情况下有效地拆分帧，并为每个像素分解一个红色、绿色和蓝色的值，而不必须展开除噪，我们研发了一种横跨帧构建信息的方法，该方法考虑到了图像的边缘，并适当地展开了调整。

具体地说，我们分析输出帧并调整我们如何将它们人组在一起，权衡减少的细节，分辨率，噪声诱导和光滑。我们通过沿着显著边缘的方向拆分像素，而不是横跨它们来构建这一点。效果是我们的多帧方法获取了噪音增加和细节的强化之间的最佳均衡。为了使算法需要可信地处置简单的局部运动场景(人、车、水或树叶移动)，我们研发了一个鲁棒性模型来检测和减低偏移误差。

我们自由选择一帧作为“参照图像”，并只有当我们相信我们寻找了准确的对应特征才将来自其他帧的信息拆分到它。通过这种方式，我们可以防止像“重影”或运动模糊不清，或者是错误地拆分图像的部分。

一辆较慢行经的公共汽车的连拍图像。左:没鲁棒性模型下拆分。

右:有鲁棒模型下拆分推展移动摄影技术的发展去年谷歌发售的人像模式(Portrait mode)，以及之前HDR+ pipeline都展出了移动摄影的优越性。今年，我们从变焦杀掉。

Super Res Zoom能提升计算机摄影技术水平，同时增大移动摄影和数码单反之间的质量差距。超强分辨率的概念比智能手机的经常出现早于了最少10年。在完全某种程度宽的时间里，它也通过电影和电视在公众的想象中不存在，它也是学术期刊和学术会议上成千上万篇论文的主题。

现在，在你手掌中的Pixel 3里，超强分辨率现实不存在。如何最大限度地利用Super Res Zoom?这里有一些关于如何在Pixel 3的手机上用于Super Res Zoom的技巧：图形再行图形，或者用于+按钮减少图形的线性步骤。

双击预览以较慢转换图形和增大。Super Res Zoom可以在所有图形系数下工作，不过出于性能原因，它只转录了1.2倍以上。Pixel的广角摄像机的光学分辨率有基本的容许。

因此，为了最大限度地利用图形，请求维持放大系数高。防止较慢移动的物体。

Super Res Zoom能准确捕猎它们，但你不有可能获得更高的分辨率。via Google Blog涉及文章：公布5款新的硬件，谷歌大秀“AI+硬件+软件”实力原创文章，予以许可禁令刊登。

下文闻刊登须知。

本文来源：7163银河-www.argylehuzhou.cn