27

看完换脸AI做的动图,我已经不记得蒙娜丽莎长什么样了

 4 years ago
source link: https://www.tuicool.com/articles/6fYr22I
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

mM3qmiJ.jpg!web

本文来自微信公众号: 把科学带回家(ID:steamforkids) ,作者:美图君,头图来自:东方IC

相信你已经在网上见过各式各样的 deepfake 换脸技术了。

比如,这些奥巴马里,哪个是真的?

vIr6zaQ.gif

其实,他们都是假的。他们是南加州大学创意技术研究所 (USC Institute for creative technologies) 的人工智能学家 Supasorn Suwajanakorn 用美国前总统里根的嘴部动作和奥巴马的脸合成的。

这种换脸技术,就叫做 deepfake。

Y7NZJbJ.gif

eaAfAbr.gif

利用deepfake技术,导演史蒂夫·布西密的脸被换到了詹妮弗·劳伦斯的身上,但是布西密的动作和表情都是劳伦斯的。

一般来说,deepfake 技术需要大量的训练集数据,也就是本人的学习资料才能做出看起来可信的结果。但是最近, 位于莫斯科的三星人工智能研究所的科学家们推出了一种只要几张图片,就能还原3D人脸动态的技术

下面这些图片里,左边是输入的单张图片,右边是 AI 输出的动图。

nIV7Ff7.gif

QveyAfq.gif

FBn2YnM.gif

jQVJNrV.gif

在这项技术中,研究人员使用了3个 AI。

第一个 AI 捕捉 landmark,也就是面部关键特征点,比如脸的形状,眼睛的位置等,并把它们转化为向量。

第二个 AI 负责把这些向量转化为视频。

第三个 AI 把第二个 AI 做出来的结果和原图片进行对比和评估。

利用这3个AI,只需要几张本人的图片就能实现人物动态的“脑补”,可以生成原图片中没有的角度。

当然,输入图片越多,得到的效果就越逼真。

从下面的图片中你可以看到,用32张图片训练得到的动态图比只用一张图片得到的效果瑕疵更少。但是,只用一张图片就能还原人的全脸动态效果,效果已经很不错了。

nIFNzeM.gif

下面的这些说话的明星人头动图,哪些是真的,哪些是 AI 造出来的呢,你能分得清吗?

uMbmA3Z.gif

其实,它们都是机器造的,每个动图用的仅仅是8张图片。利用这个技术,可以轻松把单张自拍图变成动态图。

用名人的一张相片,也可以“脑补”出动态图。

vyyaem3.gif

被玩坏的玛丽莲梦露

3IJNZjR.gif

达利

mAjUvu6.gif

陀思妥耶夫斯基

AzUfAfq.gif

爱因斯坦

用来脑补名画也不错。

YZzeiaM.gif

伊凡·克拉姆斯柯依的《无名女郎》

eumMZje.gif

蒙娜丽莎

这种技术相当于把照片变成了傀儡,动作本身是别人的。因此你可以看到,用3个不同的人的面部动态还原的蒙娜丽莎,效果有很大区别。

总之看完这3个不同的人设,我心中已经默认蒙娜丽莎本人应该长成中间那个颜艺担当的版本,并且开始拒绝蒙娜丽莎本来的样貌。 在这个星球上,脸盲星人的生存实为不易啊

达特茅斯学院的计算机科学教授 Hany Farid 认为,这些技术很难不被滥用,“这是技术的另一种演化方向,以后可能会出现和真实拍摄的多媒体内容傻傻分不清的全人造视频。”

前面提到的制造出奥巴马 deepfake 视频的南加州大学研究者 Suwajanakorn 本人也明白 deepfake 被滥用的可能性以及杀伤力,因此自己参与了鉴定影像真实性的工具的研发。如果你对视频或者图片的真实性有所怀疑,可以用他的 Reality Defender 插件进行鉴定。

其实,没那么高端的换脸技术早在网红届泛滥了。凭借现在的滤镜,就可以把随便一个路人变成下巴尖到能戳死人的网红。 Deepfake 滤镜成熟以后,通过手机或许就可以变身任何一个明星,假借明星的脸说出你想说的话,做你想做的事。

miA3Qrq.gif

好了,下次奥巴马邀请你视频聊天,并向你借钱的时候,你知道该怎么做了吧。

为保护原创,参考资料储存于石墨:https://shimo.im/docs/Bl6DVmZFUiM0Q3uI/ 

本文来自微信公众号: 把科学带回家(ID:steamforkids) ,作者:美图君

*文章为作者独立观点,不代表虎嗅网立场

本文由把科学带回家© 授权虎嗅网 发表,并经虎嗅网编辑。转载此文请于文首标明作者姓名,保持文章完整性(包括虎嗅注及其余作者身份信息),并请附上出处(虎嗅网)及本页链接。原文链接:https://www.huxiu.com/article/301152.html 未按照规范转载者,虎嗅保留追究相应责任的权利

未来面前,你我还都是孩子,还不去下载虎嗅App猛嗅创新!


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK