前言

继智能手机、平板电脑之后，虚拟现实（VR）与增强现实（AR）有潜力成为下一个重大通用计算平台。

AR领域相对VR关注度较低

报告内容：对AR的发展趋势、未来的挑战、潜在应用领域、可能创造和颠覆的市场进行分析和预测。

第一章 AR与VR

VR 和 AR 有着不同的应用领域、技术和市场机会。

AR

定义

AR 是将计算机生成的虚拟世界套在现实世界上，即把数字想象世界加在真实世界之上。

实例

谷歌眼镜，微软的 HoloLens，Magic Leap

特征

1、 融合虚拟和现实

与 VR 技术不同的是，增强现实技术不会把使用者与真实世界隔开，而是将计算机生成的虚拟物体和信息叠加增强到真实世界的场景中来，以实现对现实场景更直观深入的了解和解读。

增强的信息可以是与真实物体相关的非几何信息，如视频、文字，也可以是几何信息，如虚拟的三维物体和场景。

2、实时交互

通过增强现实系统中的交互接口设备，人们以自然方式与增强现实环境进行交互操作，这种交互要满足实时性。

3、三维注册

“注册”（这里也可以解释为跟踪和定位）指的是将计算机产生的

虚拟物体与真实环境进行一一对应，且用户在真实环境中运动时，也将继续维持正确的对准关系。

VR

定义

是让用户置身于一个想象出来或者重新复制的世界，或是模拟真实的世界。

实例

Oculus、索尼PlayStation VR、HTC Vive和三星Gear VR。（有关 VR 更多的情况，可关注 VR 次元微信公众号，回复“高盛”和“德银”，分别获得高盛VR中文版报告和德银VR中文版报告）

AR与VR区分方法

VR 需要用一个不透明的头戴设备完成虚拟世界里的沉浸体验，而AR需要清晰的头戴设备看清真实世界和重叠在上面的信息和图像。

AR与VR发展方向

AR 比较适合服务企业级用户

VR 同时适用于消费者和企业用户

有些情况下，两者还会出现重叠市场。

例如，目前大多数游戏基于VR研发，但微软也用HoloLens重新创作了《我的世界》这样的游戏

AR发展简史

起源

“VR之父”Morton Heilig在上个世纪五、六十年代所发明的 Sensorama Stimulator【Sensorama Stimulator使用图像、声音、风扇、香味和震动，让用户感受在纽约布鲁克林街道上骑着摩托车风驰电掣的场景】

里程碑

第一台头戴式AR设备的发明——1968年，哈佛副教授Ivan Sutherland跟他的学生Bob Sproull合作发明了Sutherland称之为“终极显示器”的AR设备。使用这个设备的用户可以通过一个双目镜看到一个简单三维房间模型，用户还可以使用视觉和头部运动跟踪改变视角。也叫为“达摩克利斯之剑”【因为太重啦哈哈哈哈哈】

术语提出

1990年，波音公司研究员Tom Caudell，。Caudell和他的同事设计了一个辅助飞机布线系统，用于代替笨重的示例图版。这个头戴设备将布线图或者装配指南投射到特殊的可再用方板上。

步入大众

1998 年，AR 第一次出现在大众平台上。电视台在橄榄球赛电视转播上使用 AR 技术将得分线叠加到屏幕中的球场上。

用于民生-爆炸式发展开端

AR 技术开始被用于天气预报——天气预报制作者将计算机图像叠加到现实图像和地图上面。

2000 年，Bruce H. Thomas 在澳大利亚南澳大学可穿戴计算机实验室开发了第一款手机室外AR游戏——ARQuake

2008年左右，AR开始被用于地图等手机应用上。

2013 年，谷歌发布了谷歌眼镜

2015 年，微软发布 HoloLens，这是一款能将计算机生成图像（全息图）叠加到用户周围世界中的头戴式AR设备

AR硬件概览

目前能够确定的AR硬件类型有以下几种：

• 手持设备（Handheld Devices）

• 固定式AR系统（Stationary AR Systems）

• 空间增强现实（SAR）系统（Spatial Augmented Reality Systems）

• 头戴式显示器（Head-mounted Displays ，即HMD）

• 智能眼镜（Smart Glasses）

• 智能透镜（Smart Lenses）

手持设备

智能手机正是手持设备的代表。

利益：促进AR普及；设备不断更新发展

局限：无法实现可穿戴的双手解放的AR体验

固定式AR系统

适用于固定场所中需要更大显示屏或更高分辨率的场景。相对于移动设备，这些极少移动的系统可以搭载更加先进的相机系统，因此能够更加精确地识别人物和场景。此外，显示单元往往能呈现出更加真实的画面，而且受阳光或照明等环境因素影响较小。

实例：服装店固定式AR衣橱

空间增强现实（SAR）系统

与其它所有系统不同的是，空间增强现实（SAR）系统的虚拟内容直接投影在现实世界中

SAR系统往往固定在自然中。任何物理表面，如墙、桌、泡沫、木块甚至是人体都可以成为可交互的显示屏

SAR系统最大的优点在于，现实世界的反射在这里更加精确，即虚拟信息能够以实际的比例和大小呈现在眼前。此外在观看人数较多时，内容也能看清，这个案例可以用来实现同步办公。

头戴式显示器（HMD）

HMD代表着另一种快速发展的AR硬件类型。HMD由一个头戴装置（如头盔），以及与之搭配的一块或多块（微型）显示屏组成。

HMD将现实世界和虚拟物体的画面重叠显示在用户视野中。

单眼HMD和双眼HMD

HMD可以通过搭载高自由度的传感器从而实现虚拟和现实的更高贴合

智能眼镜

用户的现实世界视角被AR设备截取，增强后的画面重新显示在用户视野中。

智能眼镜技术最为突出的例子是谷歌眼镜和Vuzix M100

不过，目前开发中的最令人激动的智能眼镜要数Atheer One——该智能眼镜配有3D景深传感器，用户可以实际控制眼前显示的虚拟内容。

智能透镜

智能透镜的理念是在传统透镜中集成控制电路、通信电路、微型天线、LED及其它光电组件，从而形成一套功能系统。

列难题，比如说如何给透镜供电，如何保证人眼不受伤害等等

AR应用

考古：在在古代遗迹上显示遗迹原本的样子。

艺术：跟踪眼球移动并将这些移动显示在屏幕上，帮助残疾人进行艺术创作。

商业：显示产品的多种定制选项或者补充信息。

教育：将文本、图像、视频和音频叠加到学生周围的实时环境中。

时尚：显示不同的妆容和发型用在一个人身上的效果。

游戏：运用真实世界环境让用户在游戏中进行互动，获得不同的体验。

医药：通过虚拟X光将病人的内脏器官投射到他们的皮肤上

军事：使用AR眼镜向士兵展示战场中出现的人和物体，并附上相关信息，以帮

助士兵避开潜在的危险。

导航：将道路和街道的名字跟其他相关信息一起标记到现实地图中，或者在挡风

玻璃上显示目的地方向、天气、地形、路况、交通信息，提示潜在危险。

体育：显示橄榄球场的得分线、高尔夫球的飞行路线和冰球移动的轨迹。

电视：在天气预报中显示天气视觉效果和图像。

第二章 AR的工作原理

AR 介于 VR 和真实世界之间，VR 创造逼真的虚拟世界，AR 则将图形、声音、

触感和气味添加到真实的世界中。

AR的系统结构

一个典型的AR系统结构由虚拟场景生成单元、透射式头盔显示器、头部跟踪设

备和交互设备构成。其中虚拟场景生成单元负责虚拟场景的建模、管理、绘制和

其它外设的管理；透射式头盔显示器负责显示虚拟和现实融合后的信号；头部跟

踪设备跟踪用户视线变化；交互设备用于实现感官信号及环境控制操作信号的输

入输出

首先透射式头盔显示器采集真实场景的视频或者图像，传入后台的处理单元对其

进行分析和重构，并结合头部跟踪设备的数据来分析虚拟场景和真实场景的相对

位置，实现坐标系的对齐并进行虚拟场景的融合计算；交互设备采集外部控制信

号，实现对虚实结合场景的交互操作。系统融合后的信息会实时地显示在头盔显

示器中，展现在人的视野中。

AR的关键技术

技术难点

精确场景的理解、重构；高清晰度、大视场的显示技术

1. 对现实场景的理解和重构

是什么：理解、知道场景中存在什么样的对象和目标

在哪里：对场景结构进行分析，实现跟踪定位和场景重构

物体的检测和识别技术

目的：发现并找到场景中的目标（场景理解）

含义：基于图像的基本信息（各类型特征）和先验知识模型（物体信息表示），通过相关算法实现对场景内容分析的过程。

任务：人脸检测、行人检测、车辆检测、手势识别、生物识别、情感识别、自然场景识别等

分析思路：检测识别（自然物的一般性特征）；图像匹配（精确跟踪）

难点：技术的碎片化（每一类对象有其独特特征，工作量大；图像本身受到各种因素印象）

跟踪定位技术

基于硬件

在实现跟踪定位的过程中使用一些特殊的测量仪器或设备。常用的设备包括机械式跟踪器、电磁式跟踪器、超声波跟踪器、惯性跟踪器以及光学跟踪等。

基于视觉

具备更强的扩展性，其系统多为闭环系统，更依赖于优化算法来解决跟踪精度问题

受限于图像本身，噪声、尺度、旋转、光照、姿态变化等因素都会对跟踪精度造成较大的影响

研发鲁棒性强的算法就成为下一步AR技术的研究重点。一种是基于模板匹配的方式，预先对需要跟踪的 target 进行训练，适用特定场景。另外一种是 SLAM 方法，也就是即时定位和地图构建技术。这类技术不需要预存场景信息，而是在运行阶段完成对于场景的构建以及跟踪。。其优点是不需要预存场景，可以跟踪较大范围，适用面广，在跟踪的同时也可以完成对于场景结构的重建。

2. 增强现实的显示技术

透射式头盔显示器

根据真实环境的表现形式划分，主要有视频透视式头盔显示器和光学透视式头盔显示器两种形式。

视频透视式头盔显示器通过安装在头盔上的微型摄像头获取外部真实环境的图像，计算机通过场景理解和分析将所要添加的信息和图像信号叠加在摄像机的视频信号上。

然视频透射式头盔在显示上不受强光的干扰，具有比较大的视场，但由于真实环境的数据来自于摄像头，因此会造成显示分辨率较低的不利因素。另一方面，一旦摄像机与用户视点不能保持完全重合，用户看到的视频景象与真实景象将会存在偏差

光学原理的透视式头盔显示器的基本原理则是通过安装在眼前的一对半反半透镜融合呈现出真实场景和虚拟场景。，光学透视式的“实”来自于真实的光源，经过透视光学系统直接进入眼睛，计算机生成的“虚”则经过光学系统放大后反射进入眼睛，最后两部分信息汇聚到视网膜上从而形成虚实融合的成像效果。光学透视式头盔相对来说结构简单，分辨率更高，因其能够直接看到外部，真实感和安全性也更强。其缺点是，在室外强光条件下显示效果会受影响

目前厂商通常采用光学透视头盔；透视式头盔受限于厚薄和视场大小冲突的技术阻碍应用有限。

数字光场显示

不采用屏幕来做载体的显示方式，通过记录并复现光场来完成虚拟物体的显示

或是采用多层的显示器，如光场立体镜。如Magic Leap采用的是光导纤维投影仪

第三章 布局

苹果

种种迹象显示，苹果可能和微软一样瞄准了AR领域，并非时下最热的VR。

苹果已经在AR领域进行过一些并购交易（Metaio 的德国 AR 公司。该公司主要开发基于智能手机的 AR 应用软件，家具视觉化；事脸部视觉识别的公司——FaceShift；了以色列的硬件公司PrimeSense；储备一些和AR有关的技术专利）

不过迄今为止，苹果从未对外宣布过开发AR硬件、软件等产品的计划。苹果向来并不喜欢做新技术的第一批尝鲜者，而是善于在市面已有的产品门类中拿出用户体验十分优秀的产品，依靠苹果的品牌力大规模占领市场。因此在 AR 领域，苹果也会选择一个相对成熟的时机再进入市场。

微软

是布局 AR 比较超前的巨头公司，其在 2015 年就推出了 AR 头盔HoloLens

【HoloLens实际上就是欺骗大脑，将光线以全息图的方式发射到你眼睛中，就好

像物体真的存在于现实世界中一样。在企业方面，HoloLens 最明显的应用就是实现 3D 模型或设计的可视化可用于企业视频会议或产品全息等】

谷歌

谷歌当前在VR领域比较活跃，如推出硬件产品 Cardboard头盔，YouTube上线 360 度全景视频功能，还提供 Tilt Brush、Jump 和 Assembler 等 VR 小应用，但这并不意味着谷歌放弃了 AR 市场

谷歌和联想合作，推出Project Tango项目。该项目旨在赋予智能手机3D绘图和创造AR体验的能力

投资了AR创业公司Magic Leap

第四章 AR市场潜力

最新预测指出，到2017年，AR市场将增长至52亿美元，年增长率竟逼近100%。

AR比VR更具增长潜力

市场调研公司Digi-Capital给出的一组数据很值得研究：到2020年，AR的市场规模将达到1200亿美元，远高于VR的300亿美元。

AR的软件与服务拥有可与如今的移动市场相媲美的经济效应，它们都可以利用现有的其他产品的市场，并不断扩张它们。，AR技术有可能触及到更多的人，因为它是对人们日常生活的无缝补充，而不是像VR那样在现实世界之外营造出一个完全虚拟的世界。

第五章 AR面临的挑战

对于AR而言，解决注册任务是最核心的问题

注册对精度的要求极为严格：由于AR应以实时、六个自由度的形式将虚拟信息和现实信息相融合因此，移动 AR 存在两大难点：注册必须极为精准，注册对计算能力和内存的利用必须极为高效。

智能手机是 AR 大众市场最具前景的平台，但是AR应用在智能手机上的大规模部署仍然存在着下列重大障碍：

1、相机质量与成像处理

2、电量消耗

3、网络依赖性

4、可视化与交互的可能性

以及在实践中，AR应用的开发者却要看硬件厂商和服务供应商的脸色，后者做出硬件发展

决策的依据是市场预测，而其中可能不含对AR的需求。

计算机视觉面临的挑战

智能手机的一大优势在于，定位不必单单依赖于相机传感器，也可以利用其它任意可用的传感器即便在结合了多种传感器的帮助下，基于CV的定位仍然非常困难，一系列原因列举如下

纹理结构；光照和天气条件；数据库规模大、易变化；失准及丢失的传感信息

精准定位是AR亟待解决的最为重要的任务。但正如上面所述，仍然存在着一些重大挑战，仍需针对这些挑战寻找真正切实有效的解决方案

其他挑战

下面列举了一些与智能手机有关、同时也与AR一般用途有关的问题：

目前智能手机中相机及其它传感器质量不足以满足AR 的高要求

动态场景与AR真实感的矛盾

内容创作与注册的矛盾

第六章 顺应AR潮流

近些年，AR引起了市场营销人员的注意，因为它可能改变消费者的购物体验，例如寻找新产品以及决定购买哪个产品。

但是，要发挥AR的潜力，公司应该克制草率开发AR应用程序的冲动，而把注意力放到深入理解消费者与 AR 技术互动的方式上来。设计和执行有价值的 AR应用程序必须遵守以下几点：

·深入理解消费者如何使用AR技术

·加强电脑专家、设计师和市场营销人员之间的合作

·在消费者现有购物体验中整合AR应用程序

AR技术的独特性

应用AR的目的是让消费者对产品产生好感

应用AR的关键在于给消费者创造价值

AR 技术商业化的真正使命是整合 AR 技术提高消费者体验

第七章 AR应用案例

在这一章中，我们将探索AR这一新兴技术目前在不同领域的运用情况，并预测有可能成为未来主流的最佳实践

情境敏感式信息——在恰当的事件地点出现的信息

第一类是情境敏感式信息，涵盖能够根据特定情境轻松获取互联网已有静态数据的各种应用

Wikitude和Metaio公司的Junaio（魔眼）

数字信息、语言翻译、面部检测、维修设备信息

增强感知——成为人类2.0

主要由设备传感器收集的数据生成新的信息，实现增强现实。这一系列设备能够增强我们的感知，延伸人类能力，超越目前我们所能取得的成就

Recon Jet、iOnRoad

监测生命体征和周围环境、导航、外科向导、军方

混合现实模拟——在现实中探索虚拟

用户可以在现实环境中动态地更换或调整虚拟物体。

宜家应用 Ikea Catalog、优衣库的试衣魔镜、佳能推出的MRERL、空中客车公司（Airbus）MiRA、

虚拟界面——在虚拟中控制现实

手势、家庭自动化系统Revolv、1号店（AR连锁超市）

基于AR的界面不局限于计算机设备。还能用来控制汽车，娱乐设备，以及加热系统这样的家居配套设施。

例：物流中的AR

AR可以让物流供应商随时随地快速获预期信息：仓库运作、运输优化、最后一公里配送、强化增值服务