ARKit 和 ARCore 无法引领大众迈向移动 AR ---而 AR Cloud 可以做得到

简评：本文介绍了一个在 AR 领域中比较超前的概念--- AR Cloud，也是未来将可能改变整个行业以及人们获取信息的方式。

我前几天在线下Meetup中有幸去听本文作者 Ori Inbar 他对这个概念的阐释。并且获得了翻译转载他这篇文章的授权。

Ori 很早涉猎 AR 领域，是 AWE 大会的联合创始人，也是 Flyby（苹果 ARKit 的基础技术来源之一） 的联合创始人。

贴几张活动照片

以下是正文：

在苹果的 ARKit 和谷歌的 ARCore 发布后，开发 AR app 一夜间变成了新趋势。只因其不收费，非常酷，易操作。

到目前为止所谓的“广泛普及”其实是普及到开发者和催生了一些 YouTube 收视热度而已。但开发者们还是得要花时间去让真正的用户去真正地使用他们开发的华丽的 apps。

当然了，总会有那么几次尝试会因为享受到苹果和谷歌apps分发渠道福利带来的空前的成功案例（比如 Pokemon Go）。但是，我并没有参与到那些成千上百万的每天在疯狂用 AR apps 的浪潮中。

基于 ARKit 和 ARCore 的 apps 就像1996年的网站们一样地孤独。

不要纠我的错，我同意 ARKit 的发布是当前 AR 行业最精彩的事情，但是要做到广泛普及，还需要更长的路。但 AR Cloud 可以让这一切实现---前提是人们使用到的 AR 是空间上，时间上和设备上的一致性时。

我很希望 iPhone X 会自带一个能广泛普及 AR 的非常关键的一个硬件---不是 ARKit ---而是后置 Depth Camera，一个真正能够感知你周围环境并且重构一个高精准的 3D 地图而又同时能够被其他用户---在 AR Cloud 上共享使用。这个的确没还有出世，但希望能在未来几个新版本中看到。所以当前状况实际上并没有助力 AR Cloud 的发展---但并不妨碍这个世界需要它。

iPhone X --- Full depth camera并没有出现在后置摄像头...只有前置才有

2017的大转型

在过去的几年中，随着大众对AR的意识度越来越高和移动硬件追赶上了 AR 所需要的配置水平---很多初创公司也在做类似 ARKit 和 ARCore 的 AR Tracking 能力。但在苹果和谷歌接二连三的冲击下这些公司得快速转型去适应这个大浪潮。最自然的转型是去做跨平台。但这个机会又有多大呢？Unity 不是已经提供了跨平台的功能了吗（build-once-deploy-on-many）？难道这些初创公司得去提供足够强大的工具，服务，和内容来保证自己在这一小块蛋糕的立足之地？

所以我从更乐观的角度去看待这件事：ARKit 和 ARCore 终于把这些 AR 初创公司从这个大难题中解放出来了，然后那些（更加精明的）初创公司去转移目标和精力到更有价值的难题上：AR Cloud。

AR 研究人员和行业的内部都认为在不远的将来，基于真实世界的实时 3D 地图，AR Cloud，将会成为最重要的软件基础设施资源，这个远远比当下 Facebook 的社交图谱或者谷歌的页面排行指数要更有价值。

我已经从事 AR 行业有十载了，我过去在2009年联合创办的公司（Ogmento，后来成为Flyby）被苹果收购后被用作 ARKit 的基础研发；有趣的是，在被收购之前，Google Tango 也同样征用了相同的技术。我也是 AWE（AR 领域著名的大会）和 Super Venture（AR 领域的风投）的联合创办人，所以我希望用发展的目光去看待AR行业里的事并且一直在追寻能够让 AR 发光的领域。

想深入了解一下 ARKit，ARCore 和它们的 apps，可以读一读 Super Venture 合伙人Matt Miesnieks 的文章。
想深入了解一下 AR 协助工作的，可以读一读另一位 Super Venture 合伙人 Billinghurst 的文章。

为什么我们需要 AR Cloud

简而言之，有了AR Cloud，你周围的世界会变成大众可以享受和合用的共享空间资源。

大部分基于 ARKit 和 ARCore 的 apps 是单一用户体验，非常有局限性。YouTube 上的各种视频实际上过度地吹捧 AR 的特殊功能和把戏。

但我所说的共享一个 AR 体验并非共享“实际上所理解”的体验。借用马格利特的一个例子：你看到的不是一个烟斗。

马格利特1928年的画，旨在引导观众去讨论你所看到的一种表达方式下的烟斗实际上不是一个真正的烟斗

AR Cloud 是一个共享实体世界的“记忆”，其他用户可以分享它，而不是仅仅的像分享一段视频或信息一样。它能够让用户在里面协作，娱乐，设计，研究，或者组队去解决真实生活中的问题。

多用户的参与是 AR Cloud 的大问题。但相比之下，能在真实世界和虚拟世界之间保持一致性同步的东西更具有前景。

在同一时空下协作的AR概念---2011年

我们正处于信息变革的年代。今时今日，世界上绝大部分的信息都以电子形式，比如电子文档，视频，以及其他小碎片形式储存在服务器中，而且轻而易举地通过上网去获取。但这需要一些搜索和发觉的功夫。

根据谷歌最近的分析，超过50%的搜索是通过移动端（用户当下场景搜索）进行的。就是说越来越多的信息搜索需求是发生在你当下的场景。

AR Cloud 可以通过模拟真实 3D 世界来重新组织信息，让信息高度真实实时场景化（或者像科学家们用拉丁文来称它：in-situ）。

通过 AR Cloud，所有关于如何使用一样东西，了解一个地方的过去，或者是一个人过去的背景的这样的信息---都可以即时，原地，当下地被你享用到。

然后能够掌握 AR Cloud 的组织就能够重塑这个世界的信息组织和获取方式。

什么时候才能出现？

AR Cloud 会出现像当年那些初创公司角逐 ARKit 那样的技术并在成功之前就被巨头们商品化的情况吗？

盼 AR Cloud 需要一颗勇敢心。行业龙头希望开发者们，专业人士和消费者们稍微耐心等待 AR Cloud 的实现。但作为 AR 领域的投资人和前沿技术专家---这是一个去证明自己能赢得这场长跑比赛的好机会。

2004年第一批AR建筑设计协作demo之一

作为参考，让我们一起回顾一下 AR Tracking 技术和后来被商用到 ARKit 和 ARCore 上的技术时间线：

• 点云的首次构想：19世纪
• Andrew Davidson首次使用计算机视觉来实现实时 SLAM：1998年
• George Klein 首次在iPhone上演示 MONO-SLAM：2008年
• 首个 AR 专用的设备诞生---Project Tango：2012年
• iPad上首次用 Occipital Structure Sensor 来使用 SLAM：2013年
• Flyby 公司展示类 ARKit 的功能：2013年
• ARKit 和 ARCore 的发布：2017年

从历史上来看---距离成熟的 AR Cloud 服务能被广泛使用至少还有3年以上时间。

同时---初创公司可以专攻其中一小块，利用先发优势和攻占特定领域（比方说 to B 端）。

现在有 AR Cloud 了吗？

在过去的十年，有好些企业已经在利用云端来提供 AR 服务，比如最开始2008年的 Wikitude，接着 Layar，Metaio （Junaio），和接下来的 Vuforia，Blippar，Catchoom 以及现在的新晋---参考 AR Landscape。但这些服务基本属于以下两种中的一种：

• 储存 GPS 或者其他与地理位置相关的信息（比如常见的在环境中显示餐厅信息泡泡）。
• 提供特定图像识别去触发 AR 体验。

这些云服务并不识别真实世界的场景和物理环境，导致要逼真地融合虚拟信息到真实环境中是一件很困难的事，更不用说与他人共享体验了（不仅仅是分享一个视频那么简单）。

等等，那 Pokemon Go 的迸发式出现呢？

Pokemon Go 的迸发在 AR 领域属于偶然事件，小概率。如果抛开大家熟悉的 Pokemon 故事和大家熟悉的游戏情节，很难做到同样规模的井喷。服务器储存地理位置信息，hyperlocal 图像，和玩家的活动信息---却并没有储存并共享六千五百万名月活跃玩家身边的物理环境信息。所以根本不可能有真实共享体验的出现。

所以我们需要 AR Cloud。

到底什么是 AR Cloud？

好几名科学家在90年代从不同角度构思过 AR Cloud，但我还在等待一个更加简洁易懂的描述。所以这是自己的一个在 AR 行业环境下的理解的简化版：

AR Cloud应该包含：

1. 一套与真实世界三维轴保持统一的永久的点云系统---像一个可以共享的真实世界的虚拟版本。
2. 即时定位的能力（真实世界的定位与虚拟世界的定位一致），无论是从任何设备或者任何地点触发。
3. 在虚拟世界中存置虚拟信息并且能够与之实时交互的能力，无论从本地设备或者是远程。

让我们逐条击破：

1. 一套与真实世界三维轴保持统一的永久的点云系统。

点云在维基百科的定义是“一套具有特定维度轴线系统（x,y,z）的数据点“，然后当前被广泛应用在三维测绘和重构，测量，监察，和其他工业领域和军事领域。在工程师的行话里，根据现实物理环境生成点云是一个“已经被解决了的问题”。好多种硬件软件都已经在市场上好些日子了，比如镭射扫描仪 LiDAR，景深立体镜头 Kinect，单眼相机照片／航拍／摄影测量算法处理过的卫星照片，甚至是利用合成孔径雷达新系统（电磁波）的 Vayyar 又或者是星载雷达。

摄影测量法是根据摄影技术发明的，所以第一套点云是在19世纪就被提出来了。

Hololens 根据你家客厅生成的点云可被游戏用来生成地图

AR Cloud 众包

要保证有最全面的覆盖和保持和真实世界同步更新，这个永久的点云系统又会有一个新问题：这个云数据库需要一个机制，这个机制要能获取和储存统一标准的，并且来自不同设备的（包括移动设备 ）点云，而且这些数据能够同时被众多用户实时访问。

解决方案可以是用现有的设备自带的极佳扫描和追踪能力（ARKit，ARCore，Tango，Zed，Occipital 等等），但必须储存在一个能跨平台的数据库中。

用户去分享自己的点云数据就像 Waze 用户去主动分享自己的路况信息的动机一样：用户可以获得有价值的服务（更优导航路线），同时系统在后台也会去分享你设备上获取到的信息（你在当前路线的速度），这样去更好地完善这个平台和进一步帮助其他用户（你帮我的同时我也在帮你）。

然后，这个会有很多严峻的安全和隐私问题，毕竟你的周围的环境会比单纯你的速度，你的路况要私密多了。由此可见在加密点云初创领域有非常大的机会。

景深相机可以加速AR Cloud的发展

景深相机可以极大地帮助三维地图的重构。事实上，普通的手机又不具备这个关键的零部件。

有了景深相机，系统可以更好地捕捉物理环境的形状。算法可能是类似你的普通相机上的，但获取的点云阵列会更加的密集和准确，从而构建高质量的 AR Cloud。

有少数设备具备此功能但没有得到推广：Tango 是一个只卖了几千台的试验品；Occipital 传感器也只卖了几千份；2017年发布的基于 Tango 的联想 Phab 2 Pro 是第一台具备景深相机的智能手机却没有普及起来，还有新的宏基 ZenFone AR。

iPhone X并没有具备景深相机（后置的）---一旦具备---它可以给大量用户带来指数级的价值增长。

多用户不是新鲜事

多人同时访问需要 AR Cloud 具备像现有服务器类似的 MMO（massively multiuser online）能力---可以让大量的用户从各地实时访问和协作。不同的在于 MMO 是一个人造的永久的开放环境，通常是些文字，故事，内容，而 AR Cloud 的开放环境就是你身边的真实环境---然后基于点云的增强信息和这个环境无缝匹配。

三维地图也不是新鲜事

三维地图已经被广泛利用于无人驾驶汽车，机器人和无人机。甚至像 Roomba 这样的无人吸尘器也是利用三维地图来导航，而且还考虑跟亚马逊，谷歌，苹果等共享这个地图。

AR Cloud 非常特殊

我们现在说的点云并完全等于我们平时所接触的点云---它必须是 AR 友好的。如果一个三维地图太精致反而会导致移动设备处理速度过慢。如果一个三维地图太粗糙了又会导致用户无法从各个角度精准定位，致使体验断裂。换句话说，AR Cloud 是拥有自己一套参数的点云。

谷歌 Tango 称它为“环境学习”---让设备拥有看见并记住世界中的关键特征---边边，角落，其他特征---并且能轻易再次认出它的能力。

这个可能室内环境还是室外坏境处理方式还不一样，to B 还是 to C 又不一样。

但最基本的要求就是即时定位。

2. 即时定位的能力（真实世界的定位与虚拟世界的定位一致），无论是从任何设备或者任何地点触发。

即时定位意思就是快速知道你镜头的方向与位置，这个是 AR 之本。

Flyby 的定位器能够同步对接真实厨房环境的点云

为了让使用 AR app 的用户的定位符合开发者们预期的定位，设备需要知道当前镜头在环境中的位置。

要告诉镜头“我在哪”，设备需要对比镜头里的那些关键特征是否与自己云端的特征相符。为了达到即时定位，AR Cloud 的定位器要根据当前设备方向和 GPS 缩小搜寻范围（还有例如利用 Wi-Fi 和 蜂窝信号等具备三角测量能力的信息）。然后这个搜寻可以通过更加符合当下情况的数据和人工智能来进一步优化。

一旦设备定好位了，ARKit 或者 ARCore 就可以开始接管 tracking 需求了---就像前面提到的，这个问题已经被解决并产品化了。

当前有很多解决方案像谷歌 Tango，Occipital Sensor，当然了还有 ARKit 和 ARCore。但这些解决方案只能一次解决一个本地环境，无法复用。微软的 Hololens 可以本机复用，但无法跨用户跨平台复用。

“终极定位器“能够根据大量的点云并且从任意角度进行定位，还能够跨平台分享给其他用户。

3. 在虚拟世界中存置虚拟信息并且能够与之实时交互的能力，无论从本地设备或者是远程。

一旦拥有了永久的点云和终极定位器---就剩下能够“嵌入到”三维点云世界中的虚拟信息了。“嵌入到3D”是一个科技行话，意思就是“匹配同步真实世界，就感觉它真的就在那一样”。这个虚拟信息要可具交互性，那么众多用户就可以从不同的角度去实时地和这个信息进行交互。

“上帝模式“

要去管理和维护这个 AR Cloud 以及它的应用就想开启了上帝模式一样：可以在世界任意角落远程地添加移除另一个地方的三维内容（和它的交互）。有点像 Black and White 这个游戏一样能让用户去从上帝视角来进行操作：选任意一个地图上的点，从不同角度观看，实时监控一切行为，还能为所欲为。这个可以通过计算机，平板电脑，或者其他设备来操作。这些工具会导致人们需要重新定义 CMS 系统。

Black and White 游戏中的上帝之手能够操控任何事情

那么总结这三点要求，听起来非常困难，目前有哪些企业具备能力去构建它呢？

谁可以构建它？

AR Cloud 是那么庞大的一项工程，目前为止可能有三家企业能够有足够的资源和野心去尝试它：

苹果，谷歌，微软可能会在某一天攻克这个难关。事实上，如果哪一家不这么做，就会被成功做到的那一家狠狠地踢屁股了。

但如果说历史教会了我们什么，那就是教会了我们常常那些疯狂的初创公司才会有异常大的野心和胆量去挑战它。

然我们来看一下这些疯狂的优秀的初创公司。

由于这个项目太庞大，每个初创公司会从不同角度去攻克它，至少最开始是这样。

挑战 AR Cloud 并且被收购了的疯狂初创公司名单：

• 13th Lab （被 Facebook 收购）
• Obvious Engineering/Seene（被 SnapChat 收购）
• Cimagine（被 SnapChat 收购）
• Ogmento->Flyby（被苹果收购） Flyby 也被应用于 Tango.
• Georg Klein* （被微软收购，他是一个人不是一个企业，但他一个人秒杀了很多企业。可以看看他在2009年就在 iPhone 3GS 上展示类似 ARKit 的功能了。）需要翻墙。

目前正在挑战AR Cloud的企业：

• OUar (Portland)
• Scape (London)
• Escher Reality (Boston)
• Aireal (Dallas)
• Sturfee (Santa Clara)
• Paracosm (Florida)
• Fantasmo (Los Angeles)
• Insider Navigation (Vienna, Austria)
• InfinityAR (Israel)
• Augmented Pixels (Ukraine/Silicon Valley)
• Kudan (Bristol, UK)
• DottyAR (Sidney Australia)
• Meta (Silicon Valley)
• Daqri (Los Angeles)
• Wikitude (Vienna, Austria)
• Under Construction | http://6d.ai (San Francisco)
• PostAR - Leave your mark in the universe (San Francisco)
• <你的Startup！>

很多以上的企业将会在我们的AWE大会上出现。

大企业在干什么？

1. 苹果

苹果的 CEO 厨子已经放话表示 AR 是 “伟大而深远”的所以苹果看起来应该是在 AR 上有大野心。

ARKit 是苹果轻而易举能做到的事。他们在内部研发（多得收购了 Flyby）并别让内部的专家去产品化它（多得收购了 Mataio）。苹果又在 ARKit 正式在 WWDC 发布之前的6个月就宣称有相关的动作。

未来要是iPhone上配备了景深镜头，推加速推动构建准确的点云系统从而也会反过来重新定义智能手机的基本配置。然而我们还需要等待这个的实现。

除了无人驾驶汽车的三维扫描路面，他们家的二维地图的描绘和定位能力，以及宣称有“上千位 AR 工程师”的苹果看起来并不太像已经发起了对 AR Cloud 的挑战。可能出于隐私和安全的考虑。又或者他们藏得太深。

2. 谷歌

AR Cloud 将会是谷歌“统治世界的信息”的下一步。谷歌可能是所有玩家里拥有这个大拼图最多块的企业了，但我其实并不太期待。

Tango 在2013年以半成品的姿态发布出去，包含了3个点：

• 动态追踪（利用视觉特性，加速器和陀螺仪），这些最后成就了ARCore。
• 环境学习（前面有讲到）但 Tango 只能自己用自己的数据，无法共享。Tango 的 API 也不支持。
• 景深感知，能获取距离，尺寸，平面等重要环境信息。这个需要 Tango 自己的摄像头。

谷歌在今年的 I/O 大会上发布了另外一个新东西叫 VPS，属于 AR Cloud 的一部分，但开发者们对其评价仍然是处于“非常原始阶段”。

当然了谷歌在谷歌地图（室外）上已经完成了非常漂亮的一举，这要感谢谷歌街景车。谷歌很有可能在未来几年内凑齐所有能完成 AR Cloud 的拼图。但通常他们的 API 都比较有限，可能不太适合用来优化体验。

总的来说谷歌有天然的掌握 AR Cloud 的能力，但不敢说会是做得最好的或者最先做出来的。

3. 微软

微软的 CEO 的关注点已经非常清楚地落在了 Cloud 和 Holographic Computing 身上。微软已经通过 Hololens 这个目前来说最强大的 AR 眼镜，完成了非常强大的点云构建功能，并且能够储存在本机上。然而，还没有达到可以跨平台共享。由于微软手上没有一张打好移动 AR 的好牌，所以他直接跳过这个阶段，进入到头显阶段并且一路领先。但由于太超前市场了，导致他们的头显普及率很慢。

4. Facebook，Snap 和 亚马逊／阿里巴巴／腾讯

他们很有野心，但落后前面的巨头好几年。（对于初创公司来说是个极好的被收购的机会。）

5. 其他玩家包括 Tesla 和 Uber

还有其他的无人驾驶车企业，机器人企业，已经具备了创建三维世界的能力，不管是室内还是室外的。但并不一定会专注于 AR 方面的服务。

一个去创建未来基础设施的机会

AR Cloud 的蓝图给那些初创公司书写了一个可以成长为下一个像谷歌那么庞然巨物的成长机会。说到了 Magic Leap---他最开始是有挑战 AR Cloud 的野心的，但不清楚现在还有没有？我们关心吗？

另外，以上所有企业无一家会有构建跨平台能力的动机（可能 Facebook 会稍微有一点点可能），因此---初创公司将会有更加有优势去引领创建跨平台的 AR Cloud。

这篇文章并不旨在给出像 RFQ（报价邀请书） 中那样的标准定义的 AR Cloud，仅仅是我想表达我是如何从长远角度去看待它，我们应当去期待整个生态圈玩家们如何去构建它。

如果你有创建，使用，或者投资 AR Cloud 的热情，请跟我们聊聊，我们应当并肩作战。

一些相关的 posts：

• Once the AR Cloud is in place — what can you do with it?
• Specialization in different parts and services of the AR Cloud
• What will the App Store of the AR cloud look like
• Is there a chance for an independent AR Cloud provider? Can we afford not to have an independent cloud provider?
• We have one reality: Who should manage and maintain the content associated with it? a global regulated registry a la DNS?

参考文献：

Mixed Reality Service

Learning from 20 years of MMOs - Anything by Raph Koster — see his website

Information about point cloud hardware and software solutions

A great open resource for point cloud algorithms

Background about The World in 3D from the Naval Postgraduate School.

Mixing realities in Shared Space: an augmented reality interface for collaborative computing — Whitepaper by Mark Billinghurst

What’s the ROI for a point cloud in construction?

First realtime SLAM using computer vision: 1998 Andrew Davidson under David Murray

Why 3D Maps for AR will be worth more than Google Maps

原文地址：https://medium.com/super-ventures-blog/arkit-and-arcore-will-not-usher-massive-adoption-of-mobile-ar-da3d87f7e5ad