Apple Glass: 戴上屏幕的未来

大概 17 年开始就传说 Apple 在做两个事情:

随着像 Jon Prosser 的爆料, Glass 计划也开始慢慢浮出水面.

首先我们再看一遍 Apple 现有的产品线:

• 桌面 Mac 系统: 起源于上世纪 80 年代著名的「Macintosh」电脑, 以图形界面和键盘鼠标为基本交互方式
• 笔记本 MacBook: 起源于上世纪 90 年代「PowerBook」, 从最早的轨迹球到初代的触控板, 再到 iPhone 发布之后开始使用的 Multi-Touch 触控板, 然后在 Watch 出现之后搭载的 Force-Touch 触控板，2016 推出了 Touch Bar
• 手机 iPhone: 从 3.5 寸的 Multi-Touch 屏幕开始重新定义个人计算设备; 6S 时代吸收了 3D Touch 技术, 但是后来因为无法探索出有本质革新的交互, 在 XR 时代被 Haptic Touch 取代
• 平板电脑 iPad: 本应该是 iPhone 的雏形, 但却迟来一步, 在 iOS 11 加入更复杂的手势, 然后加入了更多独占功能形成现在的 iPad OS. 在初代提供了一款 dock 键盘, 后来直到 iPad Pro 才加入所谓的 Smart Keyboard 和 Apple Pencil 支持
• 手表 Apple Watch: 手腕上的计算设备, 初次亮相搭载了数码表冠和 Force Touch 技术, 得以这块 5cm 不到的屏幕能够完成很多交互; Series 3 时代可以独立连接 LTE 网络, Series 4 时代加入了 ECG 心电图功能.

再继续聊聊 Glass 之前, 先得聊聊他的两个先辈, 美国空军的广泛使用的 HUD 系统和 X 实验室开发的 Google Glass.

HUD 由来已久, 最早是为了飞机上帮助飞行员在更好的观察仪表的时候准备的:

F/A-18C的平视显示器

看过 ACI(空中浩劫)的同学都知道, 人的耳蜗相当于是陀螺仪、加速度计等传感器的集合体. 正常情况下, 比如视角良好, 没有猛烈加减速的时候我们对空间的感知都是可以正常进行的. 但是遇到飞机这种可能有猛烈抖动(会让耳蜗的感知功能下降)甚至是各种大角度翻转(形成错觉), 外加可能遇到能见度极差的天气的时候(无法通过视觉判断飞行状态), 人就必须借助飞机的仪表飞行. 但是如果去看仪表就意味着无法看到外界, 所以美军就开发出了这种显示屏.

后来这种显示屏直接就装在了头盔上, 像是武装直升机的驾驶员就会使用这种 HUD 头盔.

战地3: 武装直升机驾驶员视角

那么最早的 HUD 是怎么实现的呢:

那个时代只有 CRT 显示屏, 通过高集成度的显示屏, 借助凸透镜的放大和镜子的反射, 经过一块玻璃镜的反射, 此时这块玻璃镜子还能透过其他光线, 从而人眼就能看到叠加的画面.

后来出现 TFT 之后, 就有了 Google Glass 这样的技术:

Google Glass 同样搭载了一面透镜, TFT 显示屏藏在眼镜臂内, 经过那一块的透镜进行反射.

LED 很小, 通过前级镜片放大, LCoS 是 第一级反射透镜, BS2 就是眼镜看到的斜镜Glass 的原型机

所以我们能看到这种模式的非常简单的缺点:

第一, 显示屏的非常小, 小到当时 Google 将整个设计模式称作“卡片式 UI”, 换句话说还是离不开传统的交互模式, 如通过镜臂的触摸屏交互, 或者是眨眼:

卡片式 UI, 触控镜臂交互模拟肉眼效果, 这个屏幕需要让你的眼球往右上角挪动一点才能看到

第二, 重心靠前, 不仅看着非常突兀, 而且加上摄像头给他人一种隐私侵犯感. Google Glass 在当时的各种新闻里, 不是被哪个州立法不能戴着开车, 就是不能戴着进入公共场所.

所以最后 Glass 项目草草收场, 也就土豪迪拜警方采购当了冤大头, 只不过他的遗产:

• Okay Google: 先是转移到了 Moto X 的 X3 平台, 后来普及到了 Android Wear 手表, 再后来普及到了各种手机和智能音响

Nest Hub x Google Assistant

• 卡片式 UI, 形成了 Google 所谓 「Material Design」 的一部分, 然后跟着 Google+ 一起狗带

跨平台, 然而 Android 平板基本被 Chrome OS 取代了

---

不过还没完, 如果 Apple Glass 还是用可见光摄像头+比指甲盖小的屏幕,, 那还有什么创新.

所以这里就要介绍另一项 Ti 的黑科技, DLP 投影和 DMD 芯片技术.

还记得上个月老罗带的货吗, 其中有一款投影仪, 叫做所谓的「微型 LED 投影仪」. 这里的德州仪器的核心科技, DLP 芯片仅 0.23-0.43 英寸大小, 算是小于大多数手机摄像头的传感器, 然而却能投影出 100 英寸的画面.

DMD 芯片的大小DMD 芯片上就是很多很多小镜子, 通过改变反射光的方向改变画面亮度(Y)LED 光源经过色轮(可以认为是 RGB 滤镜之类的东西, 产生颜色, 算是 UV), 打到 DMD 芯片, 经过 DMD 芯片的反射让光线进入投影透镜组, 从而最后打在屏幕上

而 Apple 正是将这一技术运用到眼镜这样的屏幕上, 从而完成了新的交互飞跃:

115 对应了光源, 光源经过镜片的一部分反射到镜臂的 HMD 上, 然后再通过 HMD 的小镜子投影到镜片, 整个结构都在鼻梁夹和耳夹中间, 既不显得突兀, 也不会让佩戴者感到费力.

而真正讲核心交互创新之前, 先谈定位技术和摄像头技术

常见的定位方案, 在 2015 年时 Google 推出了 Project Tango 平板.Project Tango 建立的云图Google 和 Lenovo 合作的 Tango 手机

其实这套东西说白了, 就是类似 FaceID 那一套: 能建立出较为精准的模型, 但是用于定位的话空间范围不够. 而且如果用了结构光就会导致设备和设备之间干扰.

faceID 原理FaceID 机构光效果

另外一个很严重问题的就是隐私, 1+ 这两天的红外滤镜摄像头闹得沸沸扬扬, 其实就是这种摄影的原理导致的, 它能拍出物体的形状, 而尽可能忽略表面纹理.

在某些手机上甚至能够通过第三方相机读到这颗摄像头的信息:

所以说红外虽然能用, 但是隐私问题比可见光镜头还要大. 而 UWB 技术还只是很初步的应用. 所以原来车载的激光 LiDAR 雷达就先出现在了 iPad Pro 上进行试水:

LiDAR 激光和 Face ID 结构光对比

LiDAR 虽然在 1m 内的精度不如IR结构光, 但也因此没有很敏感的隐私问题. 以及可以更好的为远处的场景建模.

iPad Pro LiDAR 建模效果车载 LiDAR 建模效果

有了定位和显示技术, 我们就能玩一些简单的交互了:

首先就是地图导航

对比 Google 做的最牛逼的:

要知道太阳底下拿着手机, 手机早就热的不行了, 电也跑的飞快, 而 Glass 只要带着就行; 同时 HMD 技术有点类似 OLED, 为了实现高亮度, 可以让光线聚集到发光的位置, 而避免 LCD 那种黑色空白背景的耗电问题.

眼球追踪技术

通过眼球追踪技术, 就能知道用户在看的物体, 从而形成类似鼠标指针的交互, 而不是 Google Glass 那种蹩脚的触控臂.

包括可以和现有的 3D 工作流结合, 3D CAD/游戏工程师就可能就不用购买蹩脚的 3D 鼠标了

可以说 Apple Glass 将是下一款对日常生活产生革命性影响的产品. 这种影响力甚至不亚于 iPhone 和 Mac, 基于眼镜屏幕的新交互方式将会真正的带来对我们探索世界方式的改变.

而 LiDAR 相机从另外一方面削弱了 Apple Glass 在隐私上的负面影响. 即便说这款产品会让我们变得「异化」(Alienation), 但是从实际情况来说, 上世纪中发明的电视, 到冷战时期诞生的 HUD 显示屏, 然后是这个世纪开始普及的 LCD 彩色夜晶屏和 OLED 屏幕, 这些屏幕有的让我们在家里探索世界, 有的则是在外面还能保持连接和沟通.

另外则是游戏. 接近十年前 Google 的 Niantic 实验室(现为独立公司), 开发了 Ingress 虚拟实境游戏:

后来在 Ingress 的技术积累下, 作出了 Pokemon Go 这个超级大爆款.

还可以想象 Apple Glass 加上去年推出的 Apple Arcade, 会孵化出多少「AR 杀手级游戏」.