百年古董电影秒变4K高清、60FPS，AI插值，还能着色

十三 发自 凹非寺

量子位 报道 | 公众号 QbitAI

古董级电影秒变4K高清，还能黑白变彩色。

由于技术原因，最早的影像资料都是较为模糊且卡顿的，这就让大大降低了我们的观感体验。

而最近，国外网友Denis Shiryaev利用一种增强程序(Gigapixel AI)，将1896年的古董电影《火车进站》，转变成了4K 60fps高清“大电影”。

可以看到画面中火车进站、人物走动、衣服摆动都非常流畅、逼真。

当然，看惯了高清电影的大家可能对此不以为然，那么请欣赏下1896年的原片。

没有对比就没有伤害，这才是原始《火车进站》的效果，低清、卡顿，还有大量的噪点。

不仅如此，另一位网友还将这段高清视频进行了 着色 ，可谓是赋予了古董电影 新生命 。

那么，这究竟怎么做到的呢？

AI插值，自动填充百万像素

据Shiryaev介绍，他采用的是一种叫做 Gigapixel AI 的商业图像编辑软件(付费)。这款软件由Topaz实验室创造，可以让图像的质量提升600%。

△ Gigapixel AI

它利用一种专有的 插值算法 ，对图像做分析、识别其细节和结构，最后将额外的“信息”填充到图像中。

这个工作量是什么概念？

普通的高清是1920×1080，总像素为2073600，而4K高清是3840×2160，总像素是8294400。

也就是说，光是要把普通高清提升到4K高清，就需要额外填充600万个像素。

不仅如此，还需要弄清楚如何显示这些额外的像素，这就是插值过程的用武之地。

插值估计每个新像素要显示什么内容，这个过程是基于它们周边的像素。对于这一点，有许多方法可以来衡量。

最近邻(Nearest Neighbor)方法，会简单地用与其最近邻相同的颜色填充空白像素。它虽然简单而有效，但结果是一个锯齿状、明显像素化的图像。

双线性插值(Bilinear Interpolation)方法需要更多的处理能力，但它基于最近的两个像素来分析空白像素，并在它们之间生成一个梯度，这会让图像变得更加清晰。

而 双三次插值 (Bicubic Interpolation)会对其16个最近邻像素进行了采样，这样就会让着色变得精确，但仍然存在图像模糊的问题。

通过结合双线性插值和双三次插值，就可以生成光学质量损失最小的放大图像。

而这一过程，Gigapixel AI利用深度卷积神经网络来完成。正如产品页面介绍的那样：

神经网络分析成千上万对照片，了解图像细节是如何丢失的。算法会根据所学知识在新图像中填充信息，有效地为照片添加新细节。

解决了像素低的问题，还需要解决 视频卡顿问题 。

Gigapixel AI在关键帧之间进行“想像”之后，把这些想像出来的帧插进去。

而它插入的帧数多到可以让视频速率提高到 60 FPS 。

这就是古董电影也能变得如此清晰、流畅的原因。

黑白变彩色

虽然Shiryaev的视频中，只是提高了老电影的清晰度和流畅度，但也有网友在此基础上做了进一步的工作—— 着色 。

同样是利用神经网络，从一堆彩色照片开始，将它们转换成黑色和白色，然后再重建彩色原图。

网友就把Shiryaev的视频放到了这样的安卓程序中，给这个黑白电影着色。

可以看到，AI正确的判断出了树木是绿色，砂石是棕色，以及路人衣服的颜色。

当然，这位网友也表示，希望看到更好的着色技术让这部经典的古董电影焕发新生命。

那么，你想试试吗？

博主简介

△ Denis Shiryaev

Denis Shiryaev出生于1988年6月28日，俄罗斯人。

曾在Комитет公司和Futurico公司担任产品经理，也在Merck KGaA和Bellerage Vostok两家商店担任系统管理员。

传送门

博客：https://arstechnica.com/science/2020/02/someone-used-neural-networks-to-upscale-a-famous-1896-video-to-4k-quality/

https://www.engadget.com/2020/02/04/how-ai-helped-upscale-an-antique-1896-film-to-4k/

视频地址：https://www.youtube.com/watch?v=3RYNThid23g&feature=emb_logo

版权所有，未经授权不得以任何形式转载及使用，违者必究。