0

Meta 首款 AR 眼镜全爆料!凭借十年功力,给你好看! | 深圳湾

 2 weeks ago
source link: https://www.shenzhenware.com/articles/16365
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

Meta 首款 AR 眼镜全爆料!凭借十年功力,给你好看!

Uploads%2farticles%2f16365%2f10 years of reality labs social share 1

行业观察 |

2024-04-09

Meta 首款 AR 眼镜全爆料!凭借十年功力,给你好看!

从轻量级的 VR 到虚实融合的 MR,下一个惊喜是 AI+AR

近日,Meta 虚拟现实和增强现实技术的核心研发部门 Reality Labs 近日迎来了十周年庆,官方以《通往下一代计算平台之路的十年》为题,对 Meta 在 XR 道路上的十年探索做了一番回顾。

从收购 Oculus 后在 PC VR 领域先人一步的探索,到 Quest 系列在轻量级移动 VR 领域的独占鳌头,再到 Ray-Ban 系列智能眼镜,以及最新爆料的 AR 眼镜。

十年来,Meta 在 VR、MR、AR 三大领域全线探索,推出十几款硬件终端,是元宇宙最大的玩家。

回顾过去,展望未来,Meta 想表达的是:凭借十年功力,我会给你好看!

导读:
01 早期:终端产品探索和关键技术积累,PC VR 先人一步
02 主线:从轻量级的 VR 到虚实融合的 MR,Quest 开启移动 VR 新篇章
03 插曲:视频通话终端、脑机接口,探索新的人机连接方式
04 未来:AI+AR,先将智能眼镜戴到眼前
05 未来:Meta 首款 AR 眼镜即将到来,官方的爆料都在这里了

早期:终端产品探索和关键技术积累,PC VR 先人一步

虚拟现实曾经是科幻小说的梦想,但互联网也曾经是一个梦想,电脑和智能手机也是如此。未来即将到来,我们有机会共同构建它。

这是 Meta 虚拟现实打怪路上的的第一步,在这段时间里,Meta 在组织架构、产品形态、技术应用上,都进行了大量尝试。

先是在 2014 年,Meta 以 20 亿美金的价格收购了 VR 公司 Oculus,并入公司后设立 Oculus Research。2018 年 F8 开发者大会上,正式将 Oculus Research 更名为 Reality Labs。

命名的变化,大体也能读出 Meta 入局这一领域的战略决心。

围绕公司的战略布局,Reality Labs 技术侧,在面部表情和眼动追踪、高分辨率显示、人眼变焦能力、虚拟化身、畸变矫正、视频直通、无线串流等关键技术做了大量储备

maxresdefault
一切都始于一个开发套件和一个梦想。

产品侧,Oculus 分别推出了两款在当时极具代表性产品:Oculus Rift、Oculus Go。

Oculus Rift 是一款 PC VR 头显,下设从 DK1 到 DK2 的多个型号,其中消费者版本于 2016 年上市,收获了超过 9000 名早期用户的 240 万美元的众筹资金。

scott-oculus-rift-2013

△ 图源:CNET

屏幕单眼分辨率 1080 x 1200,刷新率 90Hz。内置传感器支持 6DoF 头部与手部追踪,支持 Unity3D、Source 3D 游戏引擎、Unreal 引擎等,配置有控制器,通过 HDMI、USB 接口与 PC 相连。

Oculus Rift 不单是 Meta 的 VR 新物种,一定程度上,Oculus Rift 也为整个 VR 行业树立了产品标杆。后续,我们看到了大量类似头显产品的上市发布。

Oculus Go 则是一款独立 VR 设备,由 Oculus、高通、小米三方联合研发,在 Oculus Connect 开发者大会期间亮相,并于 2018 年上市。

144317-ar-vr-review-oculus-go-review-in-the-sun-image1-oyfnmib54m

△ 图源:Pocketlint

屏幕单眼分辨率 1440 x 1280 的 LCD 屏幕,支持 3DoF 头部追踪,内置的 Oculus Store 可提供流媒体应用、游戏下载。

149 美元亲民的售价,极大降低了消费者体验 VR 的门槛,并加速了 VR 的普及。

另外两款产品在这一时期也对 VR 头显的发展产生了重要影响。

在 Rift 取得成功之后,2016 年底,第一代 Oculus Touch 发布,这个用手部姿势操控 VR 的控制器,开启了 VR 头显交互的新篇章,它将玩家的双手带入了虚拟世界。

05Bom4e7O9ldxZAudX1Uh2o-3

△ 图源:PCMag

在第一代 Rift 发布三年后,Oculus Rift S 带着 Quest 首次推出的由内而外的追踪技术(Inside-Out),于 2019 年 上市,它消除了头显对外部传感器的需求,让玩家可以无线探索新世界。

rift_s
时间线
2014 收购 Oculus,成立 Research
2018 年更名为 Reality Labs
- 2016 Oculus Rift 上市
斩获 9000 名早期用户的 240 万美元的众筹资金
- 2016 Touch 控制器发布
将玩家的双手带入了虚拟世界
- 2018 Oculus Go 发布
掀起 VR 头显普及风暴
- 2019 Rift S 发布
首次推出 Inside-Out 追踪技术

主线:从轻量级的 VR 到虚实融合的 MR,Quest 开启移动 VR 新篇章

MR 和 AR 将成为个人电脑的继任者,XR 将改变世界。

Meta 在 2019 年推出了功能、体验俱佳的 Oculus Quest VR 一体。产品一经发布,市场表现强劲,即成为了 VR 领域的热门产品。

Quest 2 作为其后续产品,进一步优化了佩戴舒适性与功能,延续火热势头。根据 IDC 数据,Quest 2 自发布以来售出了超过 1480 万台,成为迄今为止最成功的 VR 设备。

而旗舰级 Quest Pro 的发布,更象征着 Meta 在轻量级 VR 上的极致探索。并且,以低于 2000 美元的价格,提供了眼动追踪和自然面部表情。

Oculus Quest、Quest 2、Quest Pro,绝对称得上是消费级 VR 头显的代表作,我们将这三款产品的功能特性罗列如下,从中可以看到产品在外观、功能的变化。

Oculus Quest 是一款真正意义上的开箱即用、高清显示、沉浸式听音、虚拟现实切换、内容丰富 VR 一体机。屏幕单眼分辨率 1440 x 1600,OLED 材质。内置音频定位系统,保持声音始终围绕左右。采用多摄像头传感器,实现了虚拟世界与现实世界(黑白)的直通。内容愈加丰富的 Oculus Store 也为 Oculus Quest 带来了更多的可玩性。

akrales_190429_3371_0104

△ 图源:The Verge

Quest 2 采用更轻量化设计,首次搭载高通骁龙 XR2 平台,CPU 和 GPU 性能提升了一倍。单眼分辨率提升到了 1832 x 1920,双眼分辨率超过 4K。引入眼动、手势追踪,增强交互体验。

akrales_200904_4160_0135

△ 图源:The Verge

Quest Pro 采用 Pancake 光学方案,机身进一步得到瘦身。单眼分辨率为 1820 x 1920px,PPI 相比 Quest 2 提升了 37%。搭载了高通骁龙 XR2+ 平台,支持头部、手势和手柄追踪,以及低时延全彩视频直通。同时还新增了面部识别功能,配合眼动追踪,能够实时渲染至虚拟世界的画像之上。

meta-quest-pro-vr-8099

△ 图源:CNET

我不再需要在一个屏幕上工作,而是可以拥有很多屏幕,然后可以从任意多个角度与你分享,我可以通过单击切换工作区,我们的化身可以协作,就像我们在同一个房间一样,使用虚拟白板等比现实世界中的同类工具更好的工具。

继轻量级 VR 之后,MR 的产品推出,也是水到渠成。

从 Oculus Quest 到 Quest Pro,Meta 实现了从黑白视频直通到全彩视频直通的功能过渡。从眼动追踪,到手势追踪,再到面部识别,进而做到虚拟世界画像实时渲染。

2023 年,Meta 发布了首款面向消费市场的 MR 设备 Quest 3。

Quest 3 可以通过简单的触摸操作,从虚拟世界切换至虚实融合世界,与苹果 Vision Pro 有着极其相似的体验。

vlcsnap-2023-10-06-16h53m31s601-1696796700422

△ 图源:IGN

同时,Quest 3 还引入了专为 MR 打造的 Augments 功能,可以在物理世界中锚定虚拟图像。例如,你可以在卧室墙壁上挂一个虚拟钟表,可以将虚拟桌游放置在餐桌上,只要你每次戴上 Quest 3 都能在同一位置上看到它们。

并且和 Vision Pro 一样,你也可以坐在沙发上,在客厅布置一块虚拟大屏,观影或玩游戏。

虽然屏幕显示、空间交互方面没有 Vision Pro 那般极致,但 Quest 3 的佩戴舒适度、价格、生态内容,同样具备优势。

时间线
- 2019 Quest 发布
Meta 首款轻量级 VR 一体机
- 2020 Quest 2 发布
迄今为止销量最高的 VR 设备
- 2022 Quest Pro 发布
Meta 在轻量级 VR 上的极致探索
- 2023 Quest 3 发布
Meta 首款 MR 设备

插曲:视频通话终端、脑机接口,探索新的人机连接方式

在当年全球智能音箱风起云涌的大环境下,Meta 也做了两款带屏智能音箱 Portal 系列。

按照 Meta 给出的产品定位,Portal 是一款通过屏幕、AI 驱动的可提供社交、内容、娱乐的智能家居产品。

facebook-portal-plus-messenger-chat-2258

△ Portal Plus,图源:CNET

和其它智能音箱略有不同,Portal 并不以语音助手为主打,而将重心放在了社交上。内置了 Facebook Messenger,可以非常方便地供用于长时间视频聊天。人像追踪技术,还能始终将用户置于画面中间。

此外,利用摄像头与 AI,Meta 还在 Portal 顺道尝试了一把 AR 应用。

用户在聊天中可为自己头像增加动态特效,还有就是为儿童讲角色扮演故事。

Portal_AR-Mask_Fruit

△ 图源:Meta

在 story time 应用下,Portal 会开启角色扮演的讲故事的模式,父母或在远方的亲戚那一端的显示器会成为一个故事的提词器,他们在为孩子讲故事的同时,故事的人物角色和动画就会以 AR 的效果呈现出来。

有趣的是,Portal 出自 Building 8,这一团队以脑机接口的前沿研究而为人所知,但他们的技术落地产品却是一款视频通话设备。

这个 Meta 在元宇宙道路上的小插曲,很快就被悄悄暂停了。

未来:AI+AR,先将智能眼镜戴到眼前

这是一款首创、方便、易于使用的设备,不会强迫你在物理世界和数字世界之间做出选择,而是以一种无缝、直观的方式将它们组合在一起。这是我们对 AR 眼镜的长期愿景,我们现在正在朝着这个目标努力。

在 2021 年 9 月,Meta 选择与雷朋合作,推出了首款音频眼镜 Ray-Ban Stories

这是一款无显示、无智能的,纯音频眼镜。有着雷朋一贯的时尚外观,内置扬声器,可以佩戴眼镜听音乐、听博客、接听电话。

NRP_Ray-Ban-Stories_Thumbnail_%E5%89%AF%E6%9C%AC

△ 图源:Meta

但同时,它又不单单是一款音频眼镜,有着 Meta 的小心思。

Meta 在眼镜上,放了两颗 500 像素摄像头,使得眼镜可以拍摄照片、视频。起初我们会认为,拍摄可能主要为 Meta 社交平台贡献素材。

直到 2023 年 10 月,Ray-Ban Meta 的发布,让我们看到了 Meta 更大的野心。

Ray-Ban Meta 集成了 Meta AI,可以语音与眼镜互动。再借助摄像头的能力,眼镜试图在音频眼镜上通过 AI 大模型实现突破性创新。

im-826586

△ 图源:WSJ

几个月后,Meta 又为这款眼镜上线了一项名为「地标识别」的功能,为用户提供了一种新的多模态交互体验。借助眼镜上的摄像头,可以通过 AI 自动识别所处位置地标,并通过语言、文字提供详细的描述。

得益于过去 18 个月人工智能模型的快速突破,我们现在认为,我们在全面 AR 眼镜之路上所拥有的智能眼镜将具有更广泛的吸引力,并且比我们之前想象的更有用——即使在没有显示器的情况下。

从音频、拍摄,到 AI 多模态融入,以及最终的 AR 显示,这或许就是 Meta AR 眼镜演进的路径。

时间线
- 2020 Project Aria 亮相
Meta 首个 AR 眼镜概念机
- 2021 Ray-Ban Stories 发布
不只是一款时尚的音频眼镜
- 2023 Ray-Ban Meta 发布
集成了 Meta AI 的智能眼镜
- 2024 敬请期待
真正的 AR 眼镜

未来:Meta 首款 AR 眼镜即将到来,官方的爆料都在这里了

就像智能手机并没有取代笔记本电脑或台式电脑一样,AR 眼镜也不会成为 MR 头显的终结。相反,我们看到的是构成未来结构的一系列设备。

去年 3 月,Meta 曾披露过未来 5 年的产品图景。新的 AR 眼镜即是其中之一,当时给出的发布时间是 2025 年。

在最近的一次公开采访中,Meta 首席技术官 Andrew Bosworth 回应了新品发布时间:它将在不太遥远的某个时候发布。

而更多关于 Meta AR 眼镜的消息,也在谈话中有意无意地流露出来。

显示界面方面,可以确定的是,新眼镜肯定会配备显示屏幕,是一款真正意义上的 AR 眼镜

输入方式方面,眼球追踪技术将会是虚拟现实交互上最直接的交互方式

Andrew Bosworth 认为,虽然 Vision Pro 在人机交互上做出了一些成绩,但做得还不够好。但他并没有流露太多关于 Meta AR 眼镜的交互应用。

他指出,神经接口、空中打字、滑动和触摸、眼球追踪、手指点击融合等,这些交互新体验,这就是 Meta 现在正在做的事情。

的确,过去几年,我们已经不止一次地看到了 Reality Labs 展示「神经接口」的肌肉腕带,包括 EMG、超现实编解码器化身、情境化人工智能,这些新技术都将伴随着计算领域的下一个重大范式转变的发生,为我们提供革命性的人机连接和交互体验。

Andrew Bosworth 指出,Meta 在眼镜显示界面、输入方式上取得了巨大进展,但毫无疑问,控制屏幕成本、提升续航仍是目前最大的挑战。

另外,此前被放弃的空间视频拍摄功能,也有可能在新 AR 眼镜上回归。但 Andrew Bosworth 表示,暂时还未想到 AR 眼镜与 Quest 头显在空间视频上的互动玩法。

Ray-Ban Meta 智能眼镜已经为我们展现了 Meta AI 的实用性和娱乐性,接下来,生成式 AI 依然会是新 AR 眼镜的一大亮眼功能,但它不仅用于日常对话,它还将成为 Meta 未来构建元宇宙的重要功能应用,在社交和游戏虚拟场景的搭建上,AI 都将发挥价值。

未来,值得期待。

主笔:达达 / 深圳湾

审校:陈壹零 / 深圳湾

编辑:陈述 / 深圳湾


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK