196

厉害了!iPhone X“刘海”里的黑科技,将颠覆自拍P图和AR相机

 6 years ago
source link: https://baijia.baidu.com/s?id=1578486128463937497&wfr=pc&fr=idx_top
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

厉害了!iPhone X“刘海”里的黑科技,将颠覆自拍P图和AR相机

本文作者:刘芳平

苹果今天发布的 iPhone X,即将给自拍美颜界带来颠覆性的改变。

如今,很少有人会贴自拍原图出来,最少都要加个滤镜,更多则是要动用修图软件,磨皮、瘦脸、调光线,还有各种 AR 玩法。所以我们看到的自拍照,轻则磨皮美白,重则各种贵妃妆、烟熏妆、老年人特效。

很多人觉得这已经很好玩了,但是等他们用上 iPhone X 后,想法很可能会改变。

在 iPhone X 的屏幕上可以看到,用户的脸戴上了虚拟的脸谱。但和上面的萌宠 AR 效果简单地把一些元素添加到用户头像上(两个耳朵的位置明显有些歪)不同,iPhone X 上脸谱和人脸实现了立体的融合,而且贴合很好,追踪也相当迅速,以至于用户眨眼的瞬间脸谱都可以实时地进行反应,见视频中第 2 秒开始处。

除此之外,镜头晃动和突然的遮挡对于对于追踪的影响非常小,用户用手一挥,脸谱换了一张,但仍然移稳稳地停留在用户脸上,没有错位,这是目前手机上 AR 自拍效果所根本不能比的。

这种程度的 AR 效果是如何实现的?

核心在于 iPhone X 的“刘海”部分(就是前置摄像头、听筒等部件所在的地方),苹果对这里进行了一次大变革,塞进很多用户之前没听过的一些传感器。

在这个被很多人诟病的小“刘海”上,苹果塞进了 8 颗传感器,除了麦克风、扬声器、前置摄像头、环境光传感器、距离感应器等我们熟知的部分,还集成了红外镜头、泛光感应元件(Flood illuminator)、点阵投影器。

u=370051533,1365821461&fm=173&s=3AE5EA06CB6C984F545E968E0300608D&w=640&h=386&img.JPEG

苹果将整个系统称之为真深度摄像头系统(TrueDepth Camera System),而整个系统除了能用于 Face ID 人脸验证,也可以扩展自拍功能,实现动画表情发布,和 AR 效果叠加。

具体而言,上述的感应器会投射人眼看不见的光,并读取用户的脸部 3D 几何结构图,而这一切都是实时发生的。苹果甚至为此开发了一个神经引擎(Neural Engine),可即时处理人脸识别数据。苹果高级副总裁 Phil Schiller 在发布会上解释称,“我们用神经网络处理图像和点阵模式,来建立人脸数学模型。”

u=2647278980,3311913270&fm=173&s=2D415B6EE59CA87F85D9241D030080C2&w=639&h=387&img.JPEG

现场特别演示了脸部追踪技术,可用于 Animoji。通过实时追踪用户面部非常细微的表情动作,将其放入各种动物形象表情中,记录下的表情和语音可以信息的形式发送给朋友。

现场还演示了AR 相机效果,和前面京剧脸谱玩法一样,用户将虚拟巴西国旗贴到脸上,看起来就像是真的画上去一样,逼真度远超之前的 AR 相机。

u=2636744229,1534871934&fm=173&s=2D655B6E7FBCA05F1E646418000050D2&w=640&h=401&img.JPEG

上图为现场演示的 AR 相机功能,下图为传统的 AR 相机。差距显而易见,上图在质感、真实度方面远超下图。

u=1084396556,1540334654&fm=173&s=3A14468506526FD644AE7541030090FA&w=640&h=378&img.JPEG

开发京剧脸谱的天天P图对雷锋网表示:“通过基于FaceKit、 SceneKit以及Metal 2等软件架构进行开发,我们可以通过iPhone X的前置摄像头为用户带来AR自拍。天天P图的用户现在可以获得更接近现实的面谱和3D装饰效果,得到更真实的AR自拍体验。”

实现这种程度的AR效果,需要软件和硬件的深度结合。

未来:AR 画妆以假乱真,人工智能看懂你的表情

目前 AR 相机玩法非常多,特别是在 P 图软件 、直播应用等方面,而即便在效果质量一般的情况下,还是广受欢迎。

随着 iPhone X 的到来,这类应用的体验将实现飞跃。上图中的第三个画面,这位女生用 AR 相机给自己的脸部进行修饰,外人可以很明显地分辨出这是 AR 效果做的;但在 iPhone X 上,配合优秀的软件,我们将可以做到以假乱真的效果,因为 iPhone X 的“刘海”精确记录了用户人脸的三维图像信息,因而当 P 图软件在给人脸 P 图时,是可以精确到脸上的某一个点的。

另一方面,这种对人脸的精确追踪,还将在表情追踪方面实现大跃进。以前,软件可以根据你的二维肖像图知道用户的一些基本表情,比如喜、怒、哀、乐。到了 iPhone X 上,对用户表情的追踪将达到消费设备上从未有过的水平,用户的一颦一动手机都将感知得到。未来,一个聊天机器人通过手机前置摄像头看着你和你对话时,它将能够根据你的细微表情作出不同的回应。

以上仅是两个几乎肯定将会到来的应用案例,iPhone X 的这个刘海,配合苹果优秀的软件以及芯片,所能带来的可能性将是无限的,Face ID 和 Animoji 仅仅只是个开始,未来也许又有现象级的应用会诞生。

而率先这场创意盛宴当中的,正是天天P图这类相机应用。iPhone X 将在 11 月正式上市,让我们一起期待吧。

雷锋网原创文章,未经授权禁止转载。网站转载请至雷锋网官网申请。但欢迎讨论~


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK