2

不仅是Vision Pro,AR还能这样玩

 2 months ago
source link: https://lieyunpro.com/archives/491943
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
不仅是Vision Pro,AR还能这样玩
阅读时间大约9分钟(3320字)

19小时前 不仅是Vision Pro,AR还能这样玩

来源:壹图网
更有价值的商业工具。

本文转载自:红杉汇,作者:洪杉。猎云网已获授权。

苹果的Vision Pro开售不久,就已经狂卖20万台。有人说它是“有史以来最好的消费类头显”,但有人也对其不稳定的表现、不够自然的数字化身、过重的分量等颇有微词。

无论怎样,苹果将诸多想法融合在一起打造成的这台“电脑化”的头显产品,再一次将VR、AR相关的产品带回了大众的视野。AR在最初的几年,凭借视频游戏等迅速赢得了关注。今天我们就来聊聊AR领域的发展趋势,以及如何与企业业务协同发展。

AI驱动AR的未来

AI的发展一直与AR紧密相连。AI模型在人脸扫描、地图扫描等任务中效率更高,部分AI工具已经可以用来创建和操作3D对象。今天,AR不仅只利用AI来分析传感器数据——AI开始被用来实现一些更重要的任务,以补充和增强AR体验。

• 构建逼真的人体模型和物体扫描:AI已经帮助AR从仅仅分析一个人脸部的关键点,发展到能够重建一个逼真的人脸或其他物体,生成虚拟环境中人物的头像或资产的三维模型。

• 物体检测和标注:机器视觉可以识别并标注物体。这不仅适用于识别,还可以在现实世界的物体上放置虚拟物体,提升AR的交互体验。

• 文字识别和翻译:用户只需将摄像头对准对象文字,就能获得实时翻译。

AR与AI搭配,能帮助企业解决一些业务方面的问题,特别是用户服务难题。例如,当你家的某个电子设备出现了故障,很多时候你不再需要苦等维修人员上门,企业可以通过AR+AI技术指导用户排除故障、重新设置,同时也减少了服务成本。

更加逼真的虚拟化身

社交AR的未来将会从卡通形象逐渐过渡到更逼真的虚拟化身,带来更自然的AR体验。苹果公司在发布Vision Pro时就展示了这项技术。

他们将这些逼真的化身称为“空间Persona(人物)”,并利用机器学习识别与展示更多的肢体语言和面部表情,提升FaceTime视频通话的AR/VR互动效果。

210945ms37kr.gif
来源:钉钉

图注:苹果为Vision Pro推出的“Persona”功能将应用于钉钉会议,实时反映参会者的表情和动作。

苹果公司并非孤军奋战。Meta公司也在研究类似的概念,并将其命名为“Codec Avatar”(编码化身)。事实上,他们已经专门开发了一个深度生成模型,来自动化创建逼真的3D人脸。

| 趋势三 移动AR——从游戏到商业工具

AR技术在移动设备上最初只是一种有趣的“玩具”,但现在它们已经发展成为一种非常有用的工具,可以完成如导航、远程协助、培训、产品可视化和场景分析等关键任务。

ARCore:最新的安卓AR功能

谷歌今年将发展其安卓AR技术ARCore。该框架在2022年发布的地理空间API的基础上,引入了街景参数接口,方便开发人员调取100米半径范围内的建筑物和地形的几何图形,从而在AR应用中创建更真实的建筑物和地形互动体验。

其中,屋顶锚点(Rooftop anchors)是一项重要功能,它可参考建筑物的实际高度和几何形状,将数字对象锚定在屋顶上;另一项新功能是地理空间深度(geospatial depth)。地理空间深度也是基于现有的街景数据,结合用户手机自带的深度传感器,生成65米的深度地图。

ARKit 6:iOS最前沿的AR技术

苹果公司的AR框架也在不断发展。其中一些最新功能包括:

• ARKit会话期间的4K视频录制

• 激光雷达(LiDAR)扫描仪深度API

• 利用LiDAR传感器的平面探测功能实现即时AR

• 动作和姿势捕捉

• 蒙特利尔、悉尼、新加坡和东京等城市的位置锚点

ARKit 6中得到增强的最强大功能之一是房间测量规划(RoomPlan),它利用设备上强大的LiDAR,可以快速借助iPhone或iPad创建建筑物的平面图,是强大AR测量工具的基础。

总体来说,ARCore和ARKit之间的区别更多是硬件,而非软件层面。尽管存在一些安卓设备可以与新款具备LiDAR功能的iPhone相媲美,但毕竟数量有限。而安卓设备的硬件配置难以统一,也让开发人员通过ARCore打造一致的体验变得更加困难。当然,苹果公司的设备也是如此,并非所有iPhone都配备了LiDAR。通常情况下,这种扫描仪只在Pro系列 iPhone和部分iPad Pro上可用。没有这种先进的深度传感器,设备就无法获得高保真的AR体验。

210946qqx9hg.png
来源:红杉汇

| 趋势四 WebAR——打造无障碍体验

移动AR面临的最大挑战之一就是硬件兼容性。功能最强大的AR体验虽然效果好、令人印象深刻,但对于绝大多数设备来说还无法很好实现。不过,还有一种方法试图另僻蹊径,那就是WebAR,它通过与大多数带摄像头的设备兼容的网络浏览器来提供更简单的AR体验。

虽然WebAR解决方案的功能不如手机本地硬件实现的AR强大,但其更广泛的设备兼容性是最大优势——WebAR几乎能在任何设备上实现面部滤镜、改变头发或物体的颜色、更换背景和绘制简单的3D物体等功能,这一点非常有用。

网络AR技术的未来也与AI密切相关。很受欢迎的WebAR开发平台之一,来自Niantic的8th Wall(第8墙)已经推出了一系列新功能,供开发人员在网络上开发沉浸式App。App连网后还能通过DALL-E和Stable Diffusion等AI模型生成更逼真的天空。与此同时,还可以与他人共享AR体验。

| 趋势五 跨平台AR应用

许多公司创造AR体验的最终目标是尽可能多地锁定客户。然而,随之而来的挑战也不少,例如:

• 不同的平台有不同的限制和功能,受众可能拥有不同的设备。

• 为每个平台原生开发对应平台App的成本可能会很高,而且需要专门的团队来确保每个平台之间的一致性。

• 跨平台的AR开发工具无法达到与原生开发工具相同的强大功能和质量水平。

跨平台开发工具比较适用于不太复杂的App开发。然而,如果你的App需要更强大的功能和更高的质量,原生开发工具是最佳选择。例如,如果你想开发一个在线商店,其中90%的功能不依赖于平台,对性能要求不高,只需要有一个简单的AR产品预览模块,那么你可以选择跨平台AR。

但如果App的功能需要更强的设备性能或是需要针对不同的平台,比如一些3D扫描或AR导航等App,那么各平台原生的开发工具会是更好的选择。

| 趋势六 可穿戴AR已成为现实

过去几年,可穿戴AR技术行业发生了重大变化。苹果公司的Apple Vision Pro便是消费者AR头戴设备迈向未来的重要里程碑之一。它拥有更高分辨率的显示屏、大量的分布式传感器、内置空间音频以及眼睛与手势跟踪功能,虽然从目前的反馈来看褒贬不一,但不可否认的是它的商业前景非常可观。

可穿戴AR体验最主要的特点是,你可以在任何地方生成一个屏幕,再通过它来打开App;你可以在家里的任何地方创建一个巨型屏幕来看电影。AR头戴设备将为我们打开一个全新交互的时代,空间计算则是我们与这些机器自然交互的必要条件。

苹果公司的Vision Pro的开发流程基于visionOS SDK(软件开发套件)。开发人员可以利用熟悉的苹果工具为该平台开发App,也可以使用visionOS SDK调整现有的App,使其适配于Vision Pro。

ARKit和visionOS的结合,可以实现更多高级的功能,如骨骼手部跟踪和一些辅助功能等。这样,用户就可以通过手势(或眼球运动、语音指令、头部运动等)与设备在虚拟空间中交互。

Meta也推出了具有全彩透视功能的Quest 3和Quest Pro,价格相比苹果公司的AR设备要低一些。

| 趋势七 AR与营销、零售业

AR技术在营销行业有许多不同的应用。AR名片、用户手册和产品演示都相对简单,可以转化为沉浸式体验。这是与竞争对手脱颖而出的绝佳方式。AR技术在营销领域持续为企业带来更多收益。AR Insider报告称,全球AR技术的未来收入预计将在2027年攀升至398亿美元。

在零售行业,AR大有可为。目前,“虚拟试穿/试用”之类的功能继续成为AR在零售应用中的主要推动因素——它在帮助企业提升客户在线购物体验的过程中,沉浸式体验起着重要作用。虚拟房间、虚拟试衣间、虚拟化妆间等正在流行。

| 趋势八 AR与导航、汽车

室内外导航

多年来,创新者一直致力于为室内和户外环境创造身临其境的导航体验——用户无需低头看屏幕,实际场景会自动出现动态的三维标记。不过,由于没有统一的方法或技术能适用所有环境类型,因此AR导航的未来确实存在细微差别。

室内导航在很大程度上仍受限于定位精度。打造AR室内导航系统并不难,但提高其定位精度却十分不容易。具体来说,室内导航可以引导顾客前往某一商店,给出相对准确的方向指引,但却还无法实现将顾客引导到商店货架上的特定产品。

至于户外方面,GPS本身就能在所有户外场景提供近乎完美的定位;从环境成像来看,对于正在驾车的用户而言,法规可能会禁止行驶中司机查看在挡风玻璃上显示的AR导航。目前谷歌和苹果在其AR平台中引入了VPS(Visual Positioning Systems,视觉定位系统),它们会比对街景图像数据库来确定用户的位置,然后在场景中生成AR导航。然而,如果无法获得准确定位或天气条件不允许,比如大雾天气,这些视觉系统就可能无法正常运作。

汽车驾驶

此外,汽车行业在以下方面也正从AR技术的创新中受益:

• 远程协助:为驾驶员提供引导式协助和诊断;

• 停车位检测:在繁忙的停车场中突出显示空闲的停车位;

• 疲劳驾驶检测:利用面部识别技术、头部和眼部动作追踪技术等检测司机的注意力情况,及时提醒疲劳的驾驶员集中注意力;

• 抬头显示屏(Heads-up display,HUD,指无需低头看手机显示屏,而直接在眼前的透明显示屏上看到更多信息的设备):通过在视野范围内指引方向、突出危险来协助驾驶。

| 趋势九 AR在医疗领域中的应用

正如前面导航的例子一样,AR技术在提供无需用手交互的界面方面表现出色。像微软的HoloLens这样的可穿戴显示器已经被医生用于辅助手术,在不干扰手术的同时为医生提供病人生命体征等重要信息。

结合机器学习算法,AR技术可以提供有效的疾病检测支持。谷歌就在不断更新他们GitHub上的AR显微镜库,方便开发者和医疗专业人员利用AR技术更好地检测癌细胞。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK