元宇宙需要什么硬件？

本文来自微信公众号：周喆吾（ID：maxzhou-blog），作者：Matthew Ball，翻译：周喆吾（MetaApp联合创始人），原文标题：《【Metaverse读本】第二篇：硬件》，题图来自：视觉中国

本篇是“METAVERSE读本”的第二部分（第一部分见：《Metaverse的理论框架：我们应该如何看待它？》），重点介绍“硬件”在虚拟世界（Metaverse）中的作用。

在这里，“硬件”被定义为：用于访问、交互，或开发 Metaverse的物理技术和设备的销售以及售后服务。包括但不限于：面向消费者的硬件（如 VR眼镜、手机和触觉手套）以及企业硬件（如用于操作或创建虚拟或基于AR的环境的硬件，如工业摄像机、投影和跟踪系统以及扫描传感器）。

消费级硬件

消费级硬件的发展每年都会受益于性能更好/功能更强大的传感器、更长的电池寿命、更复杂/多样的触觉反馈、更丰富的屏幕和更清晰的摄像头等。我们看到智能设备的数量不断增加，如智能手表、VR眼镜（以及未来的AR眼镜）。这些硬件进展都提升和延伸了用户的沉浸感，并通过软件给用户带来魔法般的体验。

您目前设备暂不支持播放
PlayStation 5的手柄

我们举诸如 Bitmoji、Animoji 和 Snapchat AR 之类的实时化身应用作为一个小例子。这些应用不仅依赖于功能相当强大的CPU/GPU以及复杂的软件（见第#3节），它们还依赖强大的面部跟踪摄像头和传感器硬件的不断改进。

近几代的新款 iPhone 可以通过红外传感器追踪 30,000 个点。这主要被运用在面部识别的功能上，同时现在它也能够连接到 Epic Games 的 Live Link 面部应用程序等应用，从而使任何消费者都能够创建，并流式传输实时、基于虚幻引擎的高保真化身。很明显，Epic的下一步将是使用此功能将一位堡垒之夜玩家的脸实时映射到他们的游戏角色上。

您目前设备暂不支持播放
UE5虚幻引擎和 iPhone 面部识别联调

与此同时，苹果的 Object Capture（模型扫描）功能使用户能够在几分钟内使用标准版iPhone上的照片创建高保真的虚拟对象。然后他们可以将这些对象移植到其他虚拟环境中，从而降低成本并提高合成产品的保真度；或者为了艺术、设计或其他AR体验的目的，将虚拟对象叠加到真实环境中。

您目前设备暂不支持播放
苹果的模型扫描

包括 iPhone11 和 iPhone12 在内的许多新智能手机都配备了新的每秒可发射 500,000,000 个雷达脉冲的超宽带芯片，以及可处理返回信息的接收器。这使得智能手机能够创建从家里到办公室以及你所走过的街道的，各种各样的雷达地图，并能将你放置在这些地图中，以几厘米的精确度链接到其他本地设备。这意味着当你从外面接近房门时它能够自动解锁，而从里面靠近房门时不会解锁。使用实时雷达地图，你可以在不摘下VR眼镜的情况下在家中自由走动。

令人惊讶的是，所有这些都已经通过标准的消费级硬件实现。这些功能在我们日常生活中的作用越来越大，这也解释了为什么 iPhone 能够年年涨价，将其平均售价从 2007 年的 450 美元左右提高到了 2021 年的 750 美元以上。

XR头显是在硬件方面已经取得的进展、和未满足的需求的另一个很好的例子。

第一款消费级产品 Oculus（2016）的分辨率为每只眼镜 1080×1200，而四年后发布的 Oculus Quest 2 的分辨率为每只眼镜 1832×1920（大致相当于4K）。

Oculus 的创始人 Palmer Luckey 认为，要使虚拟现实克服像素色差问题并成为主流设备，需要比4K再高两倍以上的分辨率。Oculus Rift 的刷新率达到了 72hz 的峰值，而最新版本的刷新率达到了 90hz，在通过 Oculus Link 连接到游戏PC时最高可达 120hz。许多人认为 120hz 是一些用户避免头晕和恶心的最低阈值。理想情况下，这将不再需要高性能主机PC插着连接线就能实现。

扎克伯格：“我们这个时代最艰巨的技术挑战，可能是将一台超级计算机安装到普通眼镜的框架中。但这是把我们的物理世界和数字世界联系在一起的关键。“

人类的可视视角为 210°，但微软的 Hololens2 显示器仅能显示 52°（之前仅为34°）。Snap 即将推出的眼镜仅能显示 26.3°。为了实现未来愿景，我们可能需要更广泛的视角。这主要是硬件上的挑战，而不是软件上的挑战。更重要的是，我们需要在取得这些进步的同时，提高可穿戴设备内部其他硬件（如扬声器、处理器、电池）的质量，并在理想情况下缩小它们的体积。

Unity CEO 预测：“AR - VR 头显 2030 年将像游戏机一样普及”

另一个例子是谷歌的Starline项目，这是一个基于硬件的展台，旨在让在视频对话中的人感觉和其他参与者身处在同一个房间。这个项目由十几个深度传感器和摄像头，基于织物的多维光场显示和空间音频扬声器共同组成。这将通过体积数据处理和压缩实现，然后通过 webRTC 交付，因此硬件对于捕获和呈现“看起来真实”的详细程度至关重要。

您目前设备暂不支持播放
Google的Starline设备，能够裸眼3D通话

专业级硬件

考虑到消费级设备已经这么牛了，工业/企业硬件在价格和尺寸上的倍数会令人震惊也就不足为奇了。徕卡现在销售 2 万美元的摄影测量相机，拥有高达 36 万个“激光扫描设置点每秒”，用来捕捉整个商场、建筑物和家庭更清晰和细节（一般人永远不会看到的精细度）。与此同时， Epic Games 的 Quixel 使用专有相机生成由数百亿像素精确三角形组成的环境 “Mega Scans”。

您目前设备暂不支持播放
Epic Quixel 

这些设备使公司更容易、更便宜地制作高质量的“镜像世界”或现实世界的“数字孪生”，并使用对现实世界的扫描来制作质量更高、成本更低的幻想世界。

15年前，谷歌能够捕获（并商务提供）世界上每一条街道的 360°2D图像，这曾让我们感到震撼。如今，更多企业可以通过购买和使用激光雷达相机和扫描仪，以构建地球上任何场景和事物的完全沉浸式三维摄影测量复制品。

当这些相机超越静态图像捕获和虚拟化，进入实时渲染和更新现实世界时，它们会变得特别有趣。例如，今天，亚马逊的 Amazon Go 零售店的摄像头能够通过代码同时跟踪数十名消费者。未来，这种跟踪系统将用于在虚拟镜像世界中实时再现这些用户。然后，谷歌的 Starline 等技术将允许远程员工从某种离岸 “Metaverse 呼叫中心” 进入商店（或博物馆、DMV或赌场）提供服务 —— 或许只需要通过一部手机。

当你去迪斯尼乐园时，你可能会在家里看到你朋友的虚拟（甚至是机器人）形象，并与他们合作击败奥创或集齐无限宝石。这些体验需要的远不止硬件 —— 但一切始于强力硬件。

本文来自微信公众号：周喆吾（ID：maxzhou-blog），作者：周喆吾