而AR从技术层面讲，是三维环境识别，是属于机器视觉的范畴。典型的AR场景是通过显示设备在现实世界中看到虚拟物体。具体分为三个部分，摄像头负责捕捉实时场景画面，后台程序负责环境识别和相机定位，显示设备将虚拟和显示的图像结合渲染后呈现出来。那么AR = 摄像头 + 视觉算法 + 显示设备。AR在十年前就已经有很多研究成果，大名鼎鼎的PTAM(Parallel Tracking and Mapping for Small AR Workspaces (PTAM))在2006就已经横空出世。然而AR的难度不仅仅是硬件，更多是在与算法的稳定性和准确性。然而近几年由于计算机视觉的兴起，SLAM等算法的逐渐完善，加上计算机硬件水平的提高，AR的商业化才逐渐展示出了希望。
个人认为，接下来的几年，AR将会是SLAM(simultaneous localization and mapping)的天下。SLAM是近几年计算机视觉领域非常热门的一个技术话题，它本身是用于机器人识别技术中的，却成为了AR的一种技术手段。SLAM从本质上讲是一种利用摄像头的实时环境重建，比较热门的SLAM项目有（附链接，部分需翻墙）:
1. PTAM: Parallel Tracking and Mapping for Small AR Workspaces (PTAM)GitHub – Oxford-PTAM/PTAM-GPL: PTAM (Parallel Tracking and Mapping) re-released under GPLv3.
4. ORB-SLAM: ORB-SLAM Project WebpageGitHub – raulmur/ORB_SLAM: A Versatile and Accurate Monocular SLAMGitHub – raulmur/ORB_SLAM2: Real-Time SLAM for Monocular, Stereo and RGB-D Cameras, with Loop Detection and Relocalization Capabilities
LeSauvage, M., & →, V. (2015). Virtual Experiences: Oculus Rift, HTC Vive, and Cast AR – GeekDad®. GeekDad®. Retrieved 4 February 2016, from Virtual Experiences: Oculus Rift, HTC Vive, and Cast AR
International Business Times,. (2016). Augmented Reality Startup Magic Leap Valued At $5B As Alibaba’s Jack Ma Joins Board: Report. Retrieved 4 February 2016, from Augmented Reality Startup Magic Leap Valued At $5B As Alibaba’s Jack Ma Joins Board: Report
Itjuzi.com,. (2016). 新闻:GGV跟了两年多的亮风台，怎么用工程师情怀做AR？ | IT桔子. Retrieved 4 February 2016, from
2000年，Bruce H. Thomas在澳大利亚南澳大学可穿戴计算机实验室开发了第一款手机室外AR游戏——ARQuake。2008年左右，AR开始被用于地图等手机应用上。2013年，谷歌发布了谷歌眼镜，2015年，微软发布HoloLens，这是一款能将计算机生成图像（全息图）叠加到用户周围世界中的头戴式AR设备，也正是随着这两款产品的出现，更多的人开始了解AR。
本届欧洲杯，法国共有三家电视台拥有转播权，分别是 Bouygues 集团下属的法国第一大综合类电视台TF1，M6 Group 集团下属的娱乐综艺类频道 M6，以及卡塔尔 beIN Media Group下属的 beIN sports 体育台。付费台 beIN Sports 拥有全部33场比赛的转播权，TF1 免费转播其中22场比赛。同是免费台的 M6 虽然只有11场比赛的转播权，但它将转播7月10日在法兰西体育场举行的决赛。除了免费观看决赛转播，还有另一个原因值得你锁定M6：采用增强现实 (AR) 技术的直播访谈节目《100 % Euro le Mag》。
M6，原来你是这样的电视台
作为法国收视率第一的娱乐综艺类电视台，M6的王牌栏目有且不限于：最强房屋中介Stéphane Plaza 主持的暖心栏目 《卖房！》（Maison à vendre）；米其林两星大厨 Philippe Etchebest 主持的减肥者绕行栏目 《大厨》（Top Chef）和惊悚栏目 《厨房噩梦》（Cauchemar en cuisine）; 超模出身的时尚编辑 Cristina Cordula 主持的剁手秘籍 《血拼女王》（Les Reines du shopping)。
如此一个以内容取胜的电视台，在《100 % Euro le Mag》栏目中，凭借炫酷的直播技术，刷遍了各大电视广播科技媒体。有网友惊呼，OMG，人类终于实现了瞬间移动！不信？那就请看6月19日法国对瑞士的比赛前后的直播画面。
i. 显示设备中的光学模组：该领域在AR出现之前的应用很狭窄，是很垂直的领域，一些厂商在有技术积累，目前Hololens的光学模组在FOV和清晰度仍待提升，这些垂直类技术厂商存在一些投资机会，主要考量技术实力
ii. 3D图像识别技术组件：图像识别技术目前的门槛是数据积累的碎片化，多数公司在垂直领域（如人脸识别）深耕，具备经过长期训练的机器视觉算法，3D图像识别是AR的核心门槛，大厂可能会从小型创业公司进行技术收购，目前Apple和微软都收购了很多图像识别公司，但是中国公司在垂直领域的技术实力仍需要进一步研究了解
宝马的Heads Up Display将路况和车况信息投射在挡风玻璃上，司机再也不用低头查看仪表和导航了。出门旅游来到陌生的城市，Junaio鹰眼帮你将周边的街道、建筑物等介绍信息标注出来，你不再需要花钱雇一个导游就可以自由的浏览名胜古迹了。AR还可以在你逛商场时将商场里的促销信息实时展示给你，让你体验到在电商平台才能获得的体验。
回复 ( 10 )
先前随意写了一点AR的东西，过年回来又看到这个问题，把几个答案看了一遍，没有看到真正从技术层面把AR解释清楚的。下面我从自己的半年多研究和从业经历感悟，写一点我对AR的认识。
1、首先，从技术层面讲AR和VR真的区别很大。
从技术层面上讲，VR就是双目渲染，严格来说是属于计算机图形学的东西。早年由于硬件设备瓶颈，VR难以达到比较好的效果。现在高质量显卡和其他各种显示设备的普及，VR已经在平民级别的硬件上做到比较好的效果了。所以VR的重点在于一种可以普及开来的硬件和其附带的解决方案。说白了讲 VR = 双目渲染 + 硬件显示设备。这一点oculus已经做得很好了，不管是从硬件上，还是其附带的开发环境。至于2015年在国内VR异军突起的暴风，从技术层面看，并没有值得让人眼前一亮的东西。然而就是这么没有什么技术含量的东西，就可以借着VR兴起挂起一阵妖风（此处应有呵呵）。
而AR从技术层面讲，是三维环境识别，是属于机器视觉的范畴。典型的AR场景是通过显示设备在现实世界中看到虚拟物体。具体分为三个部分，摄像头负责捕捉实时场景画面，后台程序负责环境识别和相机定位，显示设备将虚拟和显示的图像结合渲染后呈现出来。那么AR = 摄像头 + 视觉算法 + 显示设备。AR在十年前就已经有很多研究成果，大名鼎鼎的PTAM(Parallel Tracking and Mapping for Small AR Workspaces (PTAM))在2006就已经横空出世。然而AR的难度不仅仅是硬件，更多是在与算法的稳定性和准确性。然而近几年由于计算机视觉的兴起，SLAM等算法的逐渐完善，加上计算机硬件水平的提高，AR的商业化才逐渐展示出了希望。
2、目前的AR技术实现。
国内的AR从业者并不是太多，2015年算是一个井喷式的爆发。只是在深圳就有不少创业团队着手AR方向的各种产品的开发了。目前应用最为广泛的当属Vuforia+Unity的开发流程。当然也有不少Metaio的用户。目前借助几个AR的SDK，已经可以做到稳定的有标记AR和简单的无标记AR。
但是，从个人角度去看，这些AR实现的效果可以用幼稚来形容，离真正的AR相去深远。不论是有标记AR还是简单的无标记AR，都是基于简单的2D图像识别技术，这样的技术只能由于静止物体，无法应用到复杂场景。
真正的AR应该是虚拟世界和现实世界的同步渲染，即在后台程序中建立和现实世界一模一样的三维世界，然后将两个“世界”融合以后渲染到显示设备，从而达到虚拟世界和现实世界的交互。这样的要求所需要的计算量和算法的复杂度是相当高的。想像将来有一天，带上AR眼镜，拿上枪械模型，你就可以和朋友在家中玩射击游戏，并且伴随着高度逼真的虚拟效果，是多爽的一件事情。至于Magic Leap，看了很多这家公司的报道，却很少有他们技术实现的分析，但不管如何暂时它都不会是平民级别的AR技术，更像是在特殊设备和场景下才能实现的。
3、AR的将来。
个人认为，接下来的几年，AR将会是SLAM(simultaneous localization and mapping)的天下。SLAM是近几年计算机视觉领域非常热门的一个技术话题，它本身是用于机器人识别技术中的，却成为了AR的一种技术手段。SLAM从本质上讲是一种利用摄像头的实时环境重建，比较热门的SLAM项目有（附链接，部分需翻墙）:
1. PTAM: Parallel Tracking and Mapping for Small AR Workspaces (PTAM)GitHub – Oxford-PTAM/PTAM-GPL: PTAM (Parallel Tracking and Mapping) re-released under GPLv3.
2. DTAM:
3. LSD-SLAM: GitHub – tum-vision/lsd_slam: LSD-SLAM
4. ORB-SLAM: ORB-SLAM Project WebpageGitHub – raulmur/ORB_SLAM: A Versatile and Accurate Monocular SLAMGitHub – raulmur/ORB_SLAM2: Real-Time SLAM for Monocular, Stereo and RGB-D Cameras, with Loop Detection and Relocalization Capabilities
由于国内AR相关的信息太少，大部分都是自己找的信息和资料，很多可能会有谬误。另外，不论是AR还是VR，大家都是大张旗鼓地讨论他们的应用，都在讨论以后的商业价值，却很少有人去研究他们底层实现的技术。我们看到，不论AR还是VR，核心的技术都还是在国外，希望能有一些爱好技术的人，花些时间去做一些真正有技术含量的东西（比如EasyAR引擎）。
以上，自己的一些拙见。
一句话总结，增强现实比虚拟现实市场更大，但商业化还需时日。
首先弄清楚三个概念，VR/AR/MR，分别代表Virtual Reality（虚拟现实），Augmented Reality（增强现实）和Mixed Reality（混合现实）。三者可以大概分进一个领域，但是VR世界在呈现时会完全取代现实世界，这个时候用户看不到真实世界的东西；AR是在真实世界的基础上叠加信息，同时你在真实世界的行动并不会受影响；MR则是真实世界与虚拟世界合在一起，你在真实世界看到的东西会受到虚拟世界的影响，导致你不能区分你看到的究竟是真实物体还是虚拟物体。
三者的难度是递增的，目前发展的程度也是VR>AR>MR。AR的主要特点有：
（1）便携性：AR设备需要被带出去与真实世界打交道，因此不能够一直依赖主机、PC旁边，可以与手机配对（电池要跟上）。
（2）信息识别能力：真实世界要远远比虚拟世界复杂，考虑到现在的看图识物水平都很初级，如何辨别真实世界的信息是一个很大的挑战。在复杂环境中也要能够准确接收指令。
（3）基础设施：AR要想用得好，IoT支持不可少。网络通信、传感器、交互设备等均是支撑AR发展的必须品。
这些年消费级的VR产品已经出了很多，但是目前并没有成熟的消费级AR产品上市。在这一块领域深造的公司，除了谷歌和微软之外，还有Magic Leap（谷歌参与投资），CastAR，Metaio（被苹果收购），Total Immersion，Vuforia等，其中Metaio和Vuforia是世界上最大的两个AR引擎，国内的AR引擎有HiScene。硬件产品包括微软的HoloLens，谷歌的Google Glass，Meta 1 developer kit等。
VR产品对于3D的演示、游戏等有着革命性的意义，但是AR提供的却是一种全新的交互方式。因为AR对于用户而言，是在真实感知世界的基础上展示更多的信息，它不会覆盖用户对真实世界的感受。因此可以把AR想象成一个透明的手机，挂在眼前或者拿在手中。这就使得AR产品与用户的粘性比VR会大得多，从而使得VR具备了让用户长时间使用的基础。当足够的AR开发者加入之后，这里就会变成一个新的平台。所以如果说VR的主要对手是传统游戏、电影，那么AR的主要对手则是手机、平板电脑。
HoloLens和Google
Glass其实大家见的讨论已经很多了，硬件产品的简单信息如下所示：
接下来是其它公司的基本情况介绍：
Magic
Leap
Magic Leap成立于2011年，目前已经完成了C轮融资，7.94亿美元，阿里巴巴与谷歌领投，估值已达45亿美元(International Business Times, 2016)。同时，谷歌CEO Sundar Pichai也入驻了Magic Leap的团队，他们还招了一个科幻作家Neal Stephenson作为公司的Chief Futurist（首席未来规划师？不是很好翻译哈），挺好玩的。事实上，谷歌也领投了Magic Leap于2014年10月总额达5.42亿美元的B轮融资。可以看出，谷歌此举应属于战略投资，未来谷歌在这一方向上的发展策略应该是“Magic Leap + Google Glass/Cardboard等硬件设备 +
Ingress/Endgame等游戏内容+某个开放AR引擎”组成的一个环形世界。其实跟谷歌在手机上的布局“开放的Android系统+Nexus系列样机+应用市场”有点类似。
从Magic Leap现在公开的信息中可以看到，它们做的事情大概是这样：先逆向解析我们的眼睛接收真实世界的信息，然后用设备模拟出这种信息，再将模拟出来的信息直接投影到视网膜上，使用户获得与真实世界相差无几的感觉体验。从这一点来讲，其实更类似于MR了。这种视网膜投影技术可以带来更大的视角范围，避免了微软的HoloLens仅有35°可视角度的尴尬问题。同时，长时间佩戴VR设备会有眩晕感，因为VR设备的视野一般不符合“近大远小”的生活常识，会迷惑大脑的空间感知功能，Magic Leap的视网膜投影技术则不存在这一问题（中金公司，2015）。
Magic Leap目前并无原型产品展出或上市。
CastAR
公司成立于2013年，历史很短。CastAR首先是在KickStarter上面众筹募集了100万美元，然后在2015年8月获得了A轮1500万美元的风投，投资者是有“安卓之父”之称的Andy Rubin。
根据官网信息，CastAR的首款产品是一个高分辨率、高交互性的3D游戏AR系统。其硬件包括一副眼镜以及一块反射面。工作时，设备上的传感器将精确感知人体的活动状态，经过处理后设备上方的两个小投影仪会向反射面投影出适当的3D画面，用户则通过3D镜片来接收反射过来的3D画面。它的真实设备长这样：
可以看到，这货下方是一副3D眼镜，而上方是两个小投影仪(LeSauvage
& →, 2015)。
与之配套的，CastAR还提供一个反射面（作用类似于投影用的幕布），一个控制棒等设备。目前部分早期投资者已经拿到了原型产品，反响挺好，成像质量与反应速度都不错，但是产品并未上市。这个东西的价格是400美元。CastAR同时也提供一套SDK供开发者使用，以丰富软件资源。
这款原型产品目前需要配合反射面一起工作，反射面的价格是每平方英尺1美元。但是团队称以后可以在没有反射面的地方提供3D视野。容易看出，这个反射面是限制CastAR发展的重要障碍。
Metaio
这是一家位于慕尼黑的公司，成立于2003年，是近期这些新创立的小公司的大哥。Metaio主要是做软件的，并没有硬件产品。Metaio主要产品是Metaio SDK。Metaio SDK提供了一个非常强大的开发平台，开发者在此基础之上可以构建自己的AR场景。同时，Metaio也提供了几个与Metaio SDK相关的组件，来协助进行AR开发。这些组件包括Metaio Creator, Metaio Suite,
Metaio Cloud, Metaio CVS。
遗憾的是，这些产品目前都已经停止了销售，个人猜测是应苹果的闭源要求。
2015年5月，Metaio被苹果全资收购，收购金额未披露。苹果可能看重的是Metaio的平台实力，从而让Metaio仅为iOS服务，避免APPStore在AR中落后。
Total
Immersion
Total Immersion是法国一家AR公司，成立于1999年。该公司的主要产品名叫TryLive。这个产品面向的对象是服装销售厂家，通过TryLive，可以实时观看衣服穿在身上时的效果。可供厂家用来做市场推广。
在youtube上找到一个视频，商场里面有时候会看到一些大屏幕，站在屏幕旁边会给你拍照，同时可以在屏幕里对这个场景做一些处理，或者提供交互式体验。这个应用场景是比较常见的，中国的部分大商场就可见到。下图即为一例：
Vuforia
这家公司也是提供AR引擎的，之前被高通收购，在2015年10月份，高通将其转手卖给了PTC，作价6500万美元。Vuforiaa目前拥有17.5万注册开发者，2万余个APP。Vuforia跟Metaio一起，是世界上最大的两个AR开发引擎，而这两个引擎均已被收购。
Vuforia的主要产品就是Vuforia平台，分为试用版、经典版、Vuforia云三个版本，最贵的版本一个月要999美元，要价不菲。
HiScene
这是家中国公司，成立于2012年，刚开始主要也是做软件的，主要产品包括：
图应答：让公众号识别用户发过来的图片，然后根据图片内容自动选择回复
应用拍拍：集合了几个主要的应用市场，主要功能是扫描应用图标即可自动下载APP
HiAR：是一个AR平台，提供各种供开发用的SDK，当Vuforia和Metaio相继被收购之后，HiAR也许是个不错的AR引擎备选项。
HiScene亮风台已经获得GGV等数千万元人民币的投资。同时，HiScene也已经开始做硬件了，2015年11月27日，HiAR Glasses原型机在北京展出。这个原型机还远未成熟，从公开信息看，似乎主要的功能是当你看到某个特定的图像时，可以自动播放指定视频(Itjuzi.com, 2016)。
最后，希望我们有一天能一起上街抓皮卡丘：)
Reference
中金公司,. (2016). 泡沫启示录：虚拟/增强现实，梦想照进现实. 何玫.
LeSauvage, M., & →, V. (2015). Virtual Experiences: Oculus Rift, HTC Vive, and Cast AR – GeekDad®. GeekDad®. Retrieved 4 February 2016, from Virtual Experiences: Oculus Rift, HTC Vive, and Cast AR
International Business Times,. (2016). Augmented Reality Startup Magic Leap Valued At $5B As Alibaba’s Jack Ma Joins Board: Report. Retrieved 4 February 2016, from Augmented Reality Startup Magic Leap Valued At $5B As Alibaba’s Jack Ma Joins Board: Report
Itjuzi.com,. (2016). 新闻:GGV跟了两年多的亮风台，怎么用工程师情怀做AR？ | IT桔子. Retrieved 4 February 2016, from
继智能手机、平板电脑之后，虚拟现实（VR）与增强现实（AR）有潜力成为下一个重大通用计算平台。
从当前来看，更多的公司选择从VR领域进行切入，各大研究公司、投行针对VR领域的研究报告也层出不穷，相比之下，AR领域却稍显平淡。
腾讯科技旗下VR次元综合多家研究机构更为细化的报告，发布全球首份综合性AR报告，在这份报告中，我们将对AR的发展趋势、未来的挑战、应用领域、可能创造和颠覆的市场进行分析和预测。
第一章 AR与VR
本章导读：在本章中，我们将重点解读AR与VR在技术方面的区别，AR硬件类型、发展简史等。
VR和AR有着不同的应用领域、技术和市场机会，因此区分两者之间的不同至关重要。
AR是将计算机生成的虚拟世界套在现实世界上，即把数字想象世界加在真实世界之上。最典型的AR设备就是谷歌眼镜。这种智能眼镜将触控板、摄像头以及LED显示器结合起来，通过显示器，用户可以联网，并在视野内使用地图、电子邮件等服务。其他知名的AR产品还有微软的HoloLens，创业公司则以Magic Leap为典型代表。
AR具备三个主要特征：
1、融合虚拟和现实：与VR技术不同的是，AR技术不会把使用者与真实世界隔开，而是将计算机生成的虚拟物体和信息叠加到真实世界的场景中来，以实现对现实场景更直观深入的了解和解读，在有限的时间和有限的场景中实现与现实相关知识领域的理解。增强的信息可以是与真实物体相关的非几何信息，如视频、文字，也可以是几何信息，如虚拟的三维物体和场景。
2、实时交互：通过增强现实系统中的交互接口设备，人们以自然方式与增强现实环境进行交互操作，这种交互要满足实时性。
3、三维注册：“注册”（这里也可以解释为跟踪和定位）指的是将计算机产生的虚拟物体与真实环境进行一一对应，且用户在真实环境中运动时，也将继续维持正确的对准关系。
VR是让用户置身于一个想象出来或者重新复制的世界，或是模拟真实的世界。VR领域主要的产品包括Oculus、索尼PlayStation VR、HTC Vive和三星Gear VR。（有关VR更详细的内容，可以参考VR次元发布的德银VR报告和高盛VR报告）
区分VR和AR的一个简单的方法是：VR需要用一个不透明的头戴设备完成虚拟世界里的沉浸体验，而AR需要清晰的头戴设备看清真实世界和重叠在上面的信息和图像。
AR发展简史
AR技术的起源可追溯到“VR之父”Morton Heilig在上个世纪五、六十年代所发明的 Sensorama Stimulator。
Heilig是一名哲学家、电影制作人和发明家。他利用他在电影拍摄上经验设计出了Sensorama Stimulator，并在1962年获得了专利。
Sensorama Stimulator使用图像、声音、风扇、香味和震动，让用户感受在纽约布鲁克林街道上骑着摩托车风驰电掣的场景。尽管这台机器大且笨重，但在当时却非常超前。令人遗憾的是，Heilig没有能够获得所需的资金支持让这个发明商业化。
AR历史上的下一个重大里程碑是第一台头戴式AR设备的发明。1968年，哈佛副教授Ivan Sutherland跟他的学生Bob Sproull合作发明了Sutherland称之为“终极显示器”的AR设备。使用这个设备的用户可以通过一个双目镜看到一个简单三维房间模型，用户还可以使用视觉和头部运动跟踪改变视角。尽管用户交互界面是头戴的，然而系统主体部分却又大又重，不能戴在用户头上，只能悬挂在用户头顶的天花板上。这套系统也因此被命名为“达摩克利斯之剑”。
尽管这些早期的发明属于AR的范畴，但实际上，直到1990年，波音公司研究员Tom Caudell才创造了“AR”这个术语。Caudell和他的同事设计了一个辅助飞机布线系统，用于代替笨重的示例图版。这个头戴设备将布线图或者装配指南投射到特殊的可再用方板上。这些AR投影可以通过计算机快速轻松地更改，机械师再也不需要手工重新改造或者制作示例图版。
大约在1998年，AR第一次出现在大众平台上。当时有电视台在橄榄球赛电视转播上使用AR技术将得分线叠加到屏幕中的球场上。此后，AR技术开始被用于天气预报——天气预报制作者将计算机图像叠加到现实图像和地图上面。从那时起，AR真正地开始了其爆炸式的发展。
2000年，Bruce H. Thomas在澳大利亚南澳大学可穿戴计算机实验室开发了第一款手机室外AR游戏——ARQuake。2008年左右，AR开始被用于地图等手机应用上。2013年，谷歌发布了谷歌眼镜，2015年，微软发布HoloLens，这是一款能将计算机生成图像（全息图）叠加到用户周围世界中的头戴式AR设备，也正是随着这两款产品的出现，更多的人开始了解AR。
AR硬件概览
AR硬件发展的驱动力源于计算机处理器、显示技术、传感器、移动网络速率、电池续航等多个领域的技术进步。
目前能够确定的AR硬件类型有以下几种：
• 手持设备
• 固定式AR系统
• 空间增强现实（SAR）系统
• 头戴式显示器（HMD）
• 智能眼镜
• 智能透镜
手持设备
智能手机正是手持设备的代表，这些设备正在变得越来越好——显示器分辨率越来越高，处理器越来越强，相机成像质量越来越好，传感器越来越多，提供着加速计、GPS、罗盘等等功能……这些成为了天然的AR平台。尽管手持设备是消费者接触AR应用最为方便的形式，但由于大部分手持设备不具备可穿戴功能，因此用户无法获得双手解放的AR体验。
固定式AR系统
俄罗斯一家Topshop内的固定式AR衣橱
固定式AR系统适用于固定场所中需要更大显示屏或更高分辨率的场景。与移动AR设备不同的是，这些极少移动的系统可以搭载更加先进的相机系统，因此能够更加精确地识别人物和场景。此外，显示单元往往能呈现出更加真实的画面，而且受阳光或照明等环境因素影响较小。
空间增强现实（SAR）系统
大众公司的SAR系统
与其它所有系统不同的是，空间增强现实（SAR）系统的虚拟内容直接投影在现实世界中。SAR系统往往固定在自然中。任何物理表面，如墙、桌、泡沫、木块甚至是人体都可以成为可交互的显示屏。随着投影设备尺寸、成本、功耗的降低以及3D投影的不断进步，各种全新的交互及显示形式正在不断涌现。SAR系统最大的优点在于，现实世界的反射在这里更加精确，即虚拟信息能够以实际的比例和大小呈现在眼前。此外在观看人数较多时，内容也能看清，这个案例可以用来实现同步办公。
头戴式显示器（HMD）
佳能的混合现实头戴设备
HMD代表着另一种快速发展的AR硬件类型。HMD由一个头戴装置（如头盔），以及与之搭配的一块或多块（微型）显示屏组成。HMD将现实世界和虚拟物体的画面重叠显示在用户视野中。换而言之，用户不会直接看到现实，看到的是现实的增强视频画面。如果显示屏只覆盖用户的一只眼睛，这样的HMD称为单眼HMD，另一种是两只眼睛都看显示屏的双眼HMD。先进的HMD通常能够搭载具有很高自由度的传感器，用户可以在前后、上下、左右、俯仰、偏转和滚动六个方向自由移动头部。该系统因此能够实现虚拟信息与现实世界的贴合，并根据用户头部移动作做相应的画面调整。
智能眼镜
Vuzix M100智能眼镜
消费电子行业的许多公司认为，智能眼镜将会成为智能手机后下一大全球热卖消费产品。这些AR设备实际上是带有屏幕、相机和话筒的眼镜。根据这一概念，用户的现实世界视角被AR设备截取，增强后的画面重新显示在用户视野中。AR画面透过眼镜镜片，或者通过眼镜镜片反射，从而进入眼球。智能眼镜技术最为突出的例子是谷歌眼镜和Vuzix M100。不过，目前开发中的最令人激动的智能眼镜要数Atheer One——该智能眼镜配有3D景深传感器，用户可以实际控制眼前显示的虚拟内容。
智能透镜
华盛顿大学开发的透镜中含有金属电路结构
智能眼镜绝不是故事的结局。越来越多的研究投入到能显示AR画面的智能透镜上；微软、谷歌等公司也正忙于宣布自己的智能透镜项目。
智能透镜的理念是在传统透镜中集成控制电路、通信电路、微型天线、LED及其它光电组件，从而形成一套功能系统。未来或许可以用成千上万颗LED直接在眼前形成画面，从而让透镜变成显示屏。然而，还必须克服一系列难题，比如说如何给透镜供电，如何保证人眼不受伤害等等。
在这一章的最后，我们简单看下AR技术会应用到哪些领域：
考古：在古代遗迹上显示遗迹原本的样子。
艺术：跟踪眼球移动并将这些移动显示在屏幕上，帮助残疾人进行艺术创作。
商业：显示产品的多种定制选项或者补充信息。
教育：将文本、图像、视频和音频叠加到学生周围的实时环境中。
时尚：显示不同的妆容和发型用在一个人身上的效果。
游戏：运用真实世界环境让用户在游戏中进行互动，获得不同的体验。
医药：通过虚拟X光将病人的内脏器官投射到他们的皮肤上。
军事：使用AR眼镜向士兵展示战场中出现的人和物体，并附上相关信息，以帮助士兵避开潜在的危险。
导航：将道路和街道的名字跟其他相关信息一起标记到现实地图中，或者在挡风玻璃上显示目的地方向、天气、地形、路况、交通信息，提示潜在危险。
体育：显示橄榄球场的得分线、高尔夫球的飞行路线和冰球移动的轨迹。
电视：在天气预报中显示天气视觉效果和图像。
第二章 AR的工作原理
本章导读：在本章中，我们将解读AR的工作原理、关键技术，并以SixthSense（第六感）AR系统为例，更直观地还原AR工作方式。
AR介于VR和真实世界之间，VR创造逼真的虚拟世界，AR则将图形、声音、触感和气味添加到真实的世界中。
在介绍AR的工作原理之前，我们先通过一个例子，让大家有一个简单的认识。
在2009年2月的TED大会上，帕蒂•梅斯和普拉纳夫•米斯特莱展示了他们研发的AR系统。该系统属于麻省理工学院媒体实验室流体界面小组的研究成果之，他们称之为SixthSense（第六感）。它依靠众多AR系统中常见的一些基本元件来工作：摄像头、小型投影仪、智能手机和镜子。
这些元件通过一根类似绳索的仪器串连起来，然后戴在佩戴者的脖子上。用户还会在手指上戴上四个不同颜色的特殊指套，这些指套可以用来操纵投影仪投射的图像。
SixthSense设备利用简单的、现成的元件来组成AR系统，它的投影仪可以将任何平面变成一个互动的显示屏。SixthSense设备利用摄像头和镜子来捕捉周围的环境，然后将这种图片传给手机，然后将这些信息从投影仪投射到用户面前的任何平面上，不管这种平面是一个手腕，一面墙，还是一个人。由于用户将摄像头佩戴在胸前，因此SixthSense设备能够增强他所看到的一切。例如，如果他在一个杂货店里挑选了一罐汤，SixthSense设备将能够搜索这罐汤的相关信息，例如成分、价格和营养价值甚或用户评论，然后将它们投射到平面上。
利用手指上的指套，用户可以在投射的信息上执行各种操作，这些操作将会被摄像头捕捉到，然后通过手机来处理。如果他希望了解这罐汤的更多信息，例如与之竞争的同类产品，那么他可以用手指与投射画面进行互动，从而获取更多的信息。SixthSense设备还能够识别一些复杂的手势，例如你在手腕上画一个圆圈，SixthSense设备就能够投射一款手表来显示当前的时间。
AR的系统结构
一个典型的AR系统结构
一个典型的AR系统结构由虚拟场景生成单元、透射式头盔显示器、头部跟踪设备和交互设备构成。其中虚拟场景生成单元负责虚拟场景的建模、管理、绘制和其它外设的管理；透射式头盔显示器负责显示虚拟和现实融合后的信号；头部跟踪设备跟踪用户视线变化；交互设备用于实现感官信号及环境控制操作信号的输入输出。
首先透射式头盔显示器采集真实场景的视频或者图像，传入后台的处理单元对其进行分析和重构，并结合头部跟踪设备的数据来分析虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景的融合计算；交互设备采集外部控制信号，实现对虚实结合场景的交互操作。系统融合后的信息会实时地显示在头盔显示器中，展现在人的视野中。
AR的关键技术
目前AR技术的技术难点在于：精确场景的理解、重构和高清晰度、大视场的显示技术。
1、对现实场景的理解和重构
在增强现实系统中，首先要解决“是什么”的问题，也就是要理解、知道场景中存在什么样的对象和目标。第二要解决“在哪里”的问题，也就是要对场景结构进行分析，实现跟踪定位和场景重构。
物体的检测和识别技术
物体检测和识别
物体检测和识别的目的是发现并找到场景中的目标，这是场景理解中的关键一环。广义的物体检测和识别技术是基于图像的基本信息（各类型特征）和先验知识模型（物体信息表示），通过相关的算法实现对场景内容分析的过程。在增强现实领域，常见的检测和识别任务有，人脸检测、行人检测、车辆检测、手势识别、生物识别、情感识别、自然场景识别等。
目前，通用的物体检测和识别技术，根据不同的思路可以分为两种：一种是从分类和检测的角度出发，通过机器学习算法训练得到某一类对象的一般性特征，从而生成数据模型。这种方法检测或者识别出的目标不是某一个具体的个体，而是一类对象，如汽车、人脸、植物等。这种识别由于是语义上的检测和识别，所以并不存在精确的几何关系，也更适用于强调增强辅助信息，不强调位置的应用场景中。如检测人脸后显示年龄、性别等。另外一种识别是从图像匹配的角度出发，数据库中保存了图像的特征以及对应的标注信息，在实际使用过程中，通过图像匹配的方法找到最相关的图像，从而定位环境中的目标，进一步得到识别图像和目标图像的精确位置，这种识别适用于需要对环境进行精确跟踪的应用场景。
就现阶段而言，识别检测技术的难点之一是技术的碎片化。这一方面是由于每一类对象都会有其独有的特征，而不同特征的提取和处理都需要实现一一对应，这对识别检测是一个巨大的挑战。另一方面，图像本身还受到噪声、尺度、旋转、光照、姿态等因素的影响。近几年来，随着深度学习技术的不断成熟，检测和识别方法也越来越统一，而性能也在不断提高中。
跟踪定位技术
跟踪技术的方法可以分为基于硬件和基于视觉两大类。基于硬件设备的三维跟踪定位方法在实现跟踪定位的过程中使用了一些特殊的测量仪器或设备。常用的设备包括机械式跟踪器、电磁式跟踪器、超声波跟踪器、惯性跟踪器以及光学跟踪等。光学跟踪和惯性跟踪是比较常用的两种硬件跟踪方式，HTC Vive就是采用了光学跟踪和惯性跟踪两种硬件来定位头部的位置。使用硬件设备构成的跟踪系统大多是开环系统，跟踪精确取决于硬件设备自身的性能，其算法的扩展性要差一些，且成本相对较高。
HTC Vive 采用光学和惯性跟踪设备
视觉跟踪方法具备更强的扩展性，其系统多为闭环系统，更依赖于优化算法来解决跟踪精度问题。相比于上述基于硬件设备的跟踪方法，计算机视觉跟踪方法提供了一种非接触式的、精确的、低成本的解决方法，但是基于视觉的方法受限于图像本身，噪声、尺度、旋转、光照、姿态变化等因素都会对跟踪精度造成较大的影响，因此更好地处理这些影响因素，研发鲁棒性强的算法就成为下一步AR技术的研究重点。
根据数据的生成方式，视觉跟踪技术的算法可以分为两种，一种是基于模板匹配的方式，预先对需要跟踪的target进行训练，在跟踪阶段通过不断的跟预存训练数据进行比对解算当前的位姿。这类方法的好处是速度较快、数据量小、系统简单，适用于一些特定的场景，但不适用于大范围的场景。
另外一种是SLAM方法，也就是即时定位和地图构建技术。这类技术不需要预存场景信息，而是在运行阶段完成对于场景的构建以及跟踪。其优点是不需要预存场景，可以跟踪较大范围，适用面广，在跟踪的同时也可以完成对于场景结构的重建。但目前这类技术计算速度慢、数据量大、算法复杂度高，对于系统的要求也较高。Hololens和Magic Leap的宣传视频中都展现了这方面技术，而亮风台对相应的技术也在研发当中。
SLAM跟踪技术
为了弥补不同跟踪技术的缺点，许多研究者采用硬件和视觉混合跟踪的方法来取长补短，以满足增强现实系统高精度跟踪定位的要求。
2、增强现实的显示技术
透射式头盔显示器
透射式头盔显示器 Hololens
目前大多数的AR系统采用透视式头盔显示器实现虚拟环境与真实环境的融合。根据真实环境的表现形式划分，主要有视频透视式头盔显示器和光学透视式头盔显示器两种形式。
视频透视式头盔显示器通过安装在头盔上的微型摄像头获取外部真实环境的图像，也就是通过摄像头来采集真实场景的图像进行传递。计算机通过场景理解和分析将所要添加的信息和图像信号叠加在摄像机的视频信号上，将计算机生成的虚拟场景与真实场景进行融合，最后通过类似于浸没式头盔显示器的显示系统呈现给用户。
虽然视频透射式头盔在显示上不受强光的干扰，具有比较大的视场，但由于真实环境的数据来自于摄像头，因此会造成显示分辨率较低的不利因素。另一方面，一旦摄像机与用户视点不能保持完全重合，用户看到的视频景象与真实景象将会存在偏差，因此会造成在某些领域（特别是工业、军事等领域）出现一些安全隐患。
光学原理的透视式头盔显示器的基本原理则是通过安装在眼前的一对半反半透镜融合呈现出真实场景和虚拟场景。与视频透射式不同的是，光学透视式的“实”来自于真实的光源，经过透视光学系统直接进入眼睛，计算机生成的“虚”则经过光学系统放大后反射进入眼睛，最后两部分信息汇聚到视网膜上从而形成虚实融合的成像效果。
光学透视式头盔相对来说结构简单，分辨率更高，因其能够直接看到外部，真实感和安全性也更强。其缺点是，在室外强光条件下显示效果会受影响。目前Hololens以及亮风台的HiAR Glasses都采用了光学透射式的成像方案。
不难看出，两种方案各有优缺点，如何选择最优方案，目前来看，还应基于实际应用场景来进行判断。
由于光学透射式头盔跟实际场景结合更紧密，真实感更强，大多数厂家会选择这种方案。对于透射式头盔显示器来说，单纯的强调厚薄或者视场大小并没有任何实际意义。这是由于厚度和视场是矛盾的，要做得较薄，方便用户使用佩戴，视场就必然变小；想要拥有大视场，则其厚度就必然增大，设备就目前来说也会显得比较笨重，不易佩戴。因此在目前技术依旧存在障碍的情况下，大家都会采取一些折中的方案。
数字光场显示
Magic leap 光场显示
随着Magic Leap的宣传视频，数字光场这个概念也变得广为人知。这种不采用屏幕来做载体的显示方式，通过记录并复现光场来完成虚拟物体的显示。通过呈现不同深度的图像，使用户在观察近景或远景时，可以实现主动的对焦，这也是光场显示的一大优点。
同样，光场显示也有不同的显示方案，一种方案是采用多层的显示器，如光场立体镜。如Magic Leap采用的是光导纤维投影仪。这套方案的优势是可以做到很大的视场角，显示更加符合人的真实感受。但这一方案同时也具有比较大的挑战性，光场的显示需要比较大的计算量，并且需要有相应的手段记录或者生成想要叠加的虚拟对象相应位置的光源信息，同时还要精细地控制投影的内容和位置，目前这些技术还都处于研究阶段。
尽管存在比较多的挑战，光场显示技术仍旧是非常值得期待的一种成像方式。
第三章 布局
本章导读：在本章中，我们将以苹果、微软、谷歌三大巨头为例，看看他们是如何在AR产业进行布局，同时介绍了AR领域知名度较高的创业公司Magic Leap。
从目前来看，绝大多数巨头和创业公司更愿意选择在VR领域开疆拓土，但这并不意味着AR无人问津。
苹果
种种迹象显示，苹果可能和微软一样瞄准了AR领域，并非时下最热的VR。
苹果已经在AR领域进行过一些并购交易。2015年5月，苹果收购了一家名为Metaio的德国AR公司。该公司主要开发基于智能手机的AR应用软件，比如其曾经开发一款让家具视觉化呈现的工具。该公司被收购之后，实体被注销，人员融入了苹果的开发团队。
18
2014年年底，苹果收购了一家从事脸部视觉识别的公司——FaceShift，该公司的技术能够利用摄像头对用户脸部图像进行实时捕捉，甚至可以生成虚拟的头像。
据悉，电影《星球大战：原力觉醒》的特效团队曾经使用了上述公司的技术，让外星人的脸部形象更加栩栩如生。
此外，苹果还曾经收购了以色列的硬件公司PrimeSense，该公司主要为微软的Xbox游戏机制造Kinect动感捕捉摄像头。
该公司具备了先进的手势动作识别技术。在AR领域，用户一般不会使用手持控制器，因此识别手部动作十分重要，这一技术也能够用于AR头盔中。
除了各种并购之外，苹果也储备了一些和AR有关的技术专利。这些专利并不意味着苹果一定会开发某种技术或者硬件，但是可能披露了苹果未来产品开发的某些思路。
2015年2月，苹果获得一个技术专利，主要用于让智能手机连接AR和VR头盔。专利描述文字和谷歌、微软、三星电子和Facebook近些年推出过的产品十分相似。
微软
微软应该算是布局AR比较超前的巨头公司，其在2015年就推出了AR头盔HoloLens，开发者版已经开启预订，售价为3000美元。
我们之所以能够看到物体，是因为光线被这些物体反弹，最后射入我们的眼中。而我们的大脑需要对这些光进行复杂运算，最后重现你眼睛所看到物体的图像。HoloLens实际上就是欺骗大脑，将光线以全息图的方式发射到你眼睛中，就好像物体真的存在于现实世界中一样。
就像下面这幅图，HoloLens可以将屏幕投射到墙上。当用户四处走动时，屏幕依然会留在原地，就好像那是一面真实存在的镜子。HoloLens可在正确角度向你的眼中发射光线，让你觉得屏幕真的出现在墙上。
HoloLens本身就是一台独立电脑，拥有自己的CPU和GPU，以及微软所谓的全息处理单元，负责支持创造全息图必须的全部必要计算。
在消费者方面，HoloLens拥有巨大潜力，你可能再无需购买60英寸电视，HoloLens允许用户将电视屏幕发射到墙上，屏幕大小可随意调节。如果未来版的HoloLens足够紧凑，你可以想象到有人边开车边接受导航，但司机的实现不再局限于屏幕上，而是可看到前方道路的全息图。当然，游戏可能是HoloLens的重要卖点。
在企业方面，HoloLens最明显的应用就是实现3D模型或设计的可视化。HoloLens也可被用于视频会议等场合。此外，它的另一个用途可能是支持在线零售店，允许HoloLens用户看到其产品全息图。在你购买家具前，你就可以看到家具被摆放在室内的虚拟图。
由于HoloLens运行Windows 10操作系统，通用应用将可在其上顺利运行。这些应用将被投射到用户面前，可被便捷操作。对于微软来说，吸引开发者非常重要，因为这款设备最吸引人的应用可能还未出现。尽管HoloLens的硬件设施令人印象深刻，但其依然需要好的应用为消费者和企业提供最好的服务。
谷歌
谷歌当前在VR领域比较活跃，如推出硬件产品 Cardboard头盔，YouTube上线360度全景视频功能，还提供Tilt Brush、Jump和Assembler等VR小应用，方便帮助开发者创新新的VR体验，但这并不意味着谷歌放弃了AR市场。
谷歌和联想合作，推出Project Tango项目。该项目旨在赋予智能手机3D绘图和创造AR体验的能力。Tango智能手机将于今年年终发货，相当于是一个完整功能的AR设备。
除了自身开发AR项目，谷歌还投资了AR创业公司Magic Leap。Magic Leap专注于AR技术的研发，其最终产品很可能是一款头盔，可将电脑生成的图像投射到人眼上，最终在现实图像上叠加一个虚拟图像。有关Magic Leap的情况，将在下文进行详细说明。
Magic Leap
Magic Leap是一家知名度很高的AR创业公司。今年2月，Magic Leap在新一轮融资中获得7.935亿美元的投资，阿里、谷歌都参与了本轮融资。据估测， Magic Leap的估值至少达到45亿美元，这比两年前Facebook收购Oculus的价格高出了两倍。
Magic Leap研发的技术依然处于半透明状态，没有任何产品出现，我们目前只知道它主要研发方向就是将三维图像投射到人的视野中。
Magic Leap CEO鲁尼• 阿伯维兹曾公开表达过自己公司的定位：“你可以将我们看作是科技生物学（Techno-biology），我们认为它是计算机的未来。”
Magic Leap制作图像的方法与人眼的工作方式相同。Magic Leap利用弯曲的光场制作图像，而不像其他平台那样利用立体图像欺骗眼球。利用其他3D图像投影方式，如果用户闭上一只眼睛，3D图像就会消失。在现实生活中，用户即使闭上一只眼睛，依然能够看到3D图像。Magic Leap便采用这种更为实用的图像制作方式。
第四章：AR市场潜力
本章导读：在这一章中，我们将通过市场调研公司提供的数据，解读AR未来的市场潜力，并详细阐述为何AR未来的市场规模会比VR更大。
尽管过去一年里媒体开始大肆报道AR技术，我们目前了解到的大部分AR解决方案仍处于开发之中。只有少数硬件解决方案得到了大规模生产并能够买到。
2011年，全球AR营收仅为1.81亿美元，而且当时AR往往被人们视作一种营销噱头：一种还在摸索实用应用的技术。很少有人认识到AR的潜力，开发相关应用大多也是用来快速打响名声，或者这些应用的价值仅限于添加视频效果这样的博眼球之举而已。
然而最新预测指出，到2017年，AR市场将增长至52亿美元，年增长率竟逼近100%。随着大量资金注入AR项目及AR创业公司，尤其是随着谷歌、佳能、高通、微软等大公司的入场，我们已经看到第一批消费级AR产品的涌现。随着实际商业利益的出现， AR将成为消费、医疗、移动、汽车以及制造市场中的“下一件大事”。
AR比VR更具增长潜力
市场调研公司Digi-Capital给出的一组数据很值得研究：到2020年，AR的市场规模将达到1200亿美元，远高于VR的300亿美元。
VR对于游戏与3D电影来说是一项非常棒的技术，甚至可以说这项技术可谓是专门为此而设计的。但这项技术的体验主要是在客厅、办公室或者座位上展开的，因为如果你戴着一个完全封闭的头戴式显示器走在路上，随时都可能撞到路边的东西。
虽然AR技术应用在游戏也非常有趣，但在需要真正沉浸式体验的时候，其所带来的乐趣或许不如VR技术那么多，这就像是移动游戏与主机游戏之间的差距。但是，AR技术在游戏玩家眼中的这个缺点，恰恰是让它可以同智能手机一样，在数以亿计用户的现实生活中发挥重要作用的优势。人们可以戴着它四处活动，做任何事情。
AR的软件与服务拥有可与如今的移动市场相媲美的经济效应，它们都可以利用现有的其他产品的市场，并不断扩张它们。AR庞大的用户基础将会成为电视电影、广告等行业的主要收入来源。
换句话说，AR技术有可能触及到更多的人，因为它是对人们日常生活的无缝补充，而不是像VR那样在现实世界之外营造出一个完全虚拟的世界。
《增强现实：指向增强现实的一种新技术》一书的作者格里格·基佩尔在书中写到：“增强现实将具备更多的实际应用价值，因为在现实中，与真实世界中的事物互动的人更多一些。”
在AR技术的帮助下，人们通过专用头盔看见的三维全息图像可以为真实世界提供一种有益的补充。当你走过一个杂货店的走道，你也许会在眼前的虚拟屏幕上看到制作意大利饭所需的食材和配料清单。又或者，当你在阅读一本有关天文学的书籍时，你周围可能会出现一幅太阳系的图像。
但是戴上虚拟现实头盔之后，你与周遭世界的联系就被人为隔断了。你被投影到一个不同的世界中，就像恐龙冲过一片丛林，或者像站在一幢100层的摩天大楼的楼顶上俯瞰着脚下的大街一样。这跟主题乐园的游历过程有些相似，就连虚拟现实头盔戴久了会让你感到恶心或者头晕也跟你在主题乐园中呆久了的感觉很相似。
Meta是硅谷的一家AR创业公司，员工人数大约为100人。Meta CEO梅隆•格里贝茨预计，有朝一日，人们再也不用一边在笨拙的键盘上敲敲打打，一边紧盯着显示屏的屏幕，人们可以在漂浮在眼前的全息图像之间随意切换和浏览，只需用手碰一碰就可以完成各种操作。当然还有虚拟键盘，人们可以利用它输入数据。
人们可以进入他们的全息影像屏幕，提取出人的解剖图，然后剔除骨骼进行研究。人们也可以通过透视去检查自己打算购买的鞋子的内部做工。到那个时候，打电话将会变成一种很奇怪的行为，因为所有人都可以在全息影像中进行对话。
格里贝茨说：“VR很酷，但它只是通向增强现实的一块垫脚石。我们将开发出比Mac电脑好用一百倍且强大一百倍的产品。”
第五章：AR面临的挑战
本章导读：在本章中，我们将从技术方面解读，当前AR面临的挑战，包括图像识别、定位等。
对于AR而言，解决注册任务是最核心的问题。注册对精度的要求极为严格：由于AR应以实时、六个自由度的形式将虚拟信息和现实信息相融合，即便是轻微的注册失准都会造成组合视图难以容忍的失真。因此，移动AR存在两大难点：注册必须极为精准，注册对计算能力和内存的利用必须极为高效。
这个问题是AR面向大众部署所面临的终极挑战。我们断言，目前大部分已知的注册任务解决方案其实并不适用于智能手机——尽管看上去能用。因此，所有的AR研究人员都应该为智能手机AR的大空间应用问题开发专门的解决方案。
智能手机是AR大众市场最具前景的平台。智能手机生态系统为面向大众部署AR的纯软件解决方案提供了一切要素。然而不应忽视的是，尽管技术和逻辑取得了种种进步，但是AR应用在智能手机上的大规模部署仍然存在着下列重大障碍：
1、相机质量与成像处理。智能手机通常配备的相机传感器在弱光条件下表现糟糕：图像模糊，开始出现明显色差。相机传感器硬件通常禁止低层级访问。API只提供了相机传感器的高层级访问，无法控制曝光、光圈及焦距。小型CCD传感器导致相机采样噪点增加，进而严重影响后续CV算法的发挥。图像获取过程中的质量损失很难通过后期处理步骤补偿。
2、电量消耗。电池电量近年来并没有显著提升。相机传感器在以高帧率持续运行时耗电量很大，其主要原因是目前手机的设计用途仍然是拍照，而不是摄影。另外，传感器和网络接口也是耗电大户。运行功能强大的AR应用会让电池迅速耗干。因此，AR应用必须只能设计成供短时间使用，而不是一种“常开”功能。
3、网络依赖性。远程访问大量数据受到几个因素的影响。首先，网络延迟会导致令人不爽的延迟，拖累AR应用的瞬时表现。其次，访问远程数据仅在开了流量套餐时才有可能做到，而流量套餐可能过于昂贵或者无法开通。最后，某些地区的网络覆盖可能不满足条件。于是完全独立的AR应用成为了唯一的可行选择，这就意味着需要在设备上占用大量的存储空间。
4、可视化与交互的可能性。智能手机的外形因素在购买决策中发挥着重要作用。实际上，可接受最大设备的尺寸严格制约了显示屏的大小。交互技术同样存在着类似的限制。多点触控界面或许是最为先进的交互机制，但它在某些特定任务——如像素级的选取上表现糟糕。
理论上讲，针对AR改进未来智能手机需从哪些方面入手已是众所周知。在实践中，AR应用的开发者却要看硬件厂商和服务供应商的脸色，后者做出硬件发展决策的依据是市场预测，而其中可能不含对AR的需求。不过，硬件总体是朝着正确的方向发展的，尤其在移动游戏或移动导航系统的驱动下——而这两者与AR在技术需求方面存在许多共通之处。此外，研究人员意识到目前相机控制方面存在限制，更好的相机API也会因此诞生，比如Frankencamera项目。
尽管平板电脑作为一种流行移动平台也在不断壮大，但它属于放大版的智能手机平台。由于尺寸放大，可视化与交互的限制有了些许放松，但这些设备的尺寸和重量同时也制约着它们在AR领域的应用，原因是拿起来更加累人（比如说，把设备举起来较长时间可能需要两只手，反过来制约了交互的可能性）。除此之外，目前的平板电脑存在着与智能手机相同的问题。对于不同的AR应用而言，智能手机和平板电脑可能前者更适合，也可能后者更适合。
计算机视觉面临的挑战
智能手机的一大优势在于，定位不必单单依赖于相机传感器，也可以利用其它任意可用的传感器，如GPS，指南针，加速度计和陀螺仪。尽管其它传感器的使用在核心CV社区中往往被视为“作弊”，但这些传感器能够对开发实验室外快速、健壮的定位功能做出重大贡献。即便在结合了多种传感器的帮助下，基于CV的定位仍然非常困难，一系列原因列举如下：
纹理结构。大多数方法依赖于兴趣点外形上的自然特征，要求环境中各区域纹理足够清晰。兴趣点的主要问题在于，纹理的呈现形式至关重要。尤其在室内场景中，常常会有白墙出现，使得基于自然特征的定位方法很难发挥作用。
光照和天气条件。尽管自然特征描述器通常被设计为不受光照影响，但这一假设只有在描述实际物理特征的观测研究中成立。不幸的是，室外环境中大量以自然画面呈现的特征与实际物理特征并不相关。场景中物体投射的阴影会造成斑点、边角、线条的出现，还会随着光照或天气条件变化而动态移动。因此，存在着大量的会对定位质量产生严重影响的异常因素和不匹配因素，这与匹配算法的选择并无关系。
数据库规模大、易变化。对于室外环境而言，在定位之前必须采集大量数据并处理生成初始模型。利用昂贵设备的实时方法能够处理这一问题：然而，无法访问的区域仍然会造成最终模型中的孔洞（即未能构建地图的区域）。此外，得到的模型仅代表某个时间点的静态快照。环境中的任何变动，如商店橱窗的翻新，咖啡店遮阳伞的开闭，停车场汽车的去留，都会让数据采集生成的模型瞬间过时。另一个重要方面是通信通道（可能是移动网络）中最终模型的分发方式。由于这些模型通常体积颇大，整体还是拆分传输都会带来技术难题。
失准及丢失的传感信息。在室外定位中，GPS和指南针提供了关于设备大致位置和方向的极具价值的绝对信息。不幸的是，传感器并不健壮：在不同的地点，传感信息的准确度可能会有天壤之别。尤其是在狭窄的城市峡谷里，GPS信息可能会偏差100米，甚至会不可用。类似的是，磁干扰会严重影响电子指南针的读数，而磁干扰在人造环境中是不可避免的。
精准定位是AR亟待解决的最为重要的任务。但正如上面所述，仍然存在着一些重大挑战，仍需针对这些挑战寻找真正切实有效的解决方案。近来平板电脑AR的SLAM实施证明，如果上述条件（即纹理结构清晰）达到，就能充分实现小规模环境的定位注3。然而，大规模环境的定位仅存在于概念证明研究中。相关问题似乎难以攻克，因此只能等待技术的缓慢进步了。
其他挑战
除了实现算法研究成果的精度和可扩展性这样的学术目标外，还存在着一系列严重影响AR体验实用性的实际问题。这些因素仅与AR的实际应用相关，因此在科学文献中讨论较少。这或许会造成“这些问题不难解决或者与AR的成功不相关”的错误认识。下面列举了一些与智能手机有关、同时也与AR一般用途有关的问题：
实际的硬件发展与“AR心愿清单”的矛盾：目前智能手机中相机及其它传感器的质量不足以满足AR的高要求。硬件进步——如立体相机，CPU/GPU的统一随机寻址，WiFi三角定位——能够让AR应用的开发者极大受益。不幸的是，在AR尚未气候成熟时，期待手机会针对AR优化纯属幻想。硬件配置的任何变动会增加数百万美元的开发成本，倘若之后无法满足市场预期，搭上的钱还会更多。目前，消费者购买手机主要是为了语音通讯，游戏和网页浏览。这些市场将会驱动近期到中期的手机功能革新。我们必须说服设备厂家AR是手机应用的新兴市场，这样才能为AR争取到更先进的硬件。幸运的是，如今AR的关注度已成规模，因此不久的将来，手机针对AR的优化或将成为现实。
动态场景与AR真实感的矛盾。目前的AR应用假设场景中的一切事物都是静态的。然而，现实恰好与之相反。尤其在室外场景中，几乎所有物体都在变化：行人，光照和天气条件，甚至是建筑物每隔几年也会刷上新的颜色。定位会因此受到严重影响。
在动态场景中，大多数算法的基本假设从一开始就是错误的。比如说你正在对一个建筑立面进行增强，行人路过挡住了部分视野。由于算法缺少阻挡推理，就算增强内容的视觉效果再好，未来硬件平台的性能再强大，也会出现碍眼的错误。动态物体与虚拟内容之间交互的缺失绝对会损害AR应用的真实感。因此，目前CV研究成果中物体动态检测与跟踪技术的加入是未来实现高质量AR的关键。
内容创作与注册的矛盾：AR之所以让人兴奋，很大程度上源于终端用户参与内容创作的发展前景。个人内容创作是促使用户积极参与而非被动观察的关键所在。然而，目前仍然没有实现这一概念的基本机制。
尽管手机的交互方法得到了极大改进，但在没有精准全局环境模型的条件下，如何使用2D界面方便、精准地注册6自由度内容，这个问题仍未得到解答。就拿增强建筑物里面的一扇窗户举例，目前的方法甚至都无法搞定简单的标记任务。尚没有在开放空间内输入任意3D位置的机制，更别说明确指出方向了。
目前决定标签的做法通常利用的是用户（不精准的）GPS位置，而不是兴趣物体本身。对于终端用户创作真实、理想的内容而言，在用户附近对任意位置进行精准注册一定要简单而健壮——然而，这又是一个超出CV基本范畴的研究难题。
第六章：AR应用案例
本章导读：在这一章中，我们将探索AR这一新兴技术目前在不同领域的运用情况，并预测有可能成为未来主流的最佳实践。
我们选取了一定数量的AR创新案例，归纳成四种功能类别；每一种都会在个人或公司使用AR应用时为其带来显著益处。
情境敏感式信息——在恰当的事件地点出现的信息
第一类是情境敏感式信息，涵盖能够根据特定情境轻松获取互联网已有静态数据的各种应用。
Wikitude和Metaio公司的Junaio（魔眼）是AR浏览器两个最有名的例子，它们提供的情境敏感式信息软件能够识别场所或物体，并将数字信息与现实世界的场景连接起来。智能手机都可以运行这一软件，用户可以通过手机摄像头的视角看到周围的数字信息。
这些数字信息可以是附近感兴趣的地方，比如博物馆、商店、餐馆或者前往下一个公交站的步行路线。该软件通过GPS、WiFi和3D建模实现图像识别和用户定位功能。
语言翻译是AR应用中最具发展前景的领域之一。现有的一款应用Word Lens兼容于几乎所有智能手机，能够将文本同步翻译成另一种语言。打开应用后，用户只要将设备对准外国文字即可。设备就会将此信息翻译成用户母语并显示出来。而且翻译后的文本是同样的字体，印在同一面墙上——就跟原始文本一样。
面部检测和AR的结合则是在现实生活特定情境中轻松获取互联网信息的另一个例子。Infinity是一款AR应用，它可以分析一张面孔，将其与社交网络上的头像进行比对匹配，匹配目标在社交网络中发布的信息就会显示在用户视野中。
这项功能在消费应用领域非常实用的技术也会受到执法部门的欢迎（如扫描人群，寻找通缉犯）。但不难理解，这款应用已经引发了许多人对隐私的担忧。
大众公司开发的MARTA系统是汽车领域中在恰当地点提供恰当信息的极具可行性的最佳实践解决方案。
该系统在汽车运转失常时派上用场，帮助用户进行汽车维修及维护。它能通过物体识别技术识别出汽车零部件，实时详细地将所有必需的维修、维护步骤描述并图示出来，并配有需要用到哪些设备的信息。这款应用可以在多种移动设备上运行。目前，该系统为大众服务独家使用，不过可以想象，未来消费者都会用上类似的系统，不太了解汽车机械的人都能修好自己的汽车。
增强感知——成为人类2.0
即便是今天，AR应用所能提供的也远不止是随时检索互联网信息这么简单。下面讲述的几个AR用例通过主要由设备传感器收集的数据生成新的信息，实现增强现实。这一系列设备能够增强我们的感知，延伸人类能力，超越目前我们所能取得的成就。
已经问世的Recon Jet是一套用于休闲活动的AR系统。该设备便于运动的平视显示器（HUD）可以与蓝牙、WiFi等第三方传感器连接，提供导航和天气信息，访问社交网络，显示实时的状态信息。例如，跑步者可以看到自己的速度，到终点线的距离，目前的海拔提升高度以及心率。目前已有上述功能的Recon Jet计划未来针对在危险环境中工作或从事体力劳动人群开发可穿戴AR设备，监测他们的生命体征和周围环境。
再举一个平视显示器的例子，某些型号的宝马汽车能够在挡风玻璃上投影行驶速度等传感信息。这种增强感知功能自从2004年以来被汽车公司所采用，宝马正在不断增加新功能，持续改进其HUD系统。
宝马目前的ConnectedDrive HUD系统的增强方式是在外部环境真实物体上叠加虚拟标记。这样导航信息或者驾驶助手系统的信息可以显示在司机前方道路视野的精确位置上。导航指示可以层叠在道路上，其它汽车或安全相关的物体可以根据情况高亮显示或标记出来。宝马夜视系统提供的可视化信息正是HUD应用的绝佳例证。
屡获殊荣的iOnRoad应用是一个类似于宝马HUD的增强驾驶助手系统，只不过面向平民大众市场，也没那么先进。该应用仅使用智能手机相机和一些视觉算法，提供了诸如碰撞预警、出口监测、道路出界预警以及事故后能派上用场的黑匣子录像功能。
Liver Explorer是AR应用在另一个截然不同的领域中的例证。外科医生可以通过Fraunhofer MEVIS公司开发的Liver Explorer应用增强感知。该应用能够为执业医生提供实时的AR向导和辅助。设备通过摄像头捕捉肝脏影像，利用AR技术将手术计划的数据叠加到器官上。
另外，该软件还能实时响应（如根据系统持续追踪的血管运动状态及时更新手术计划）。这些功能超越了MARTA系统对于情境敏感式信息的定义。如果该应用能得到积极评价的话，未来很可能会改造推广到更多的手术领域中。
在危险情况下，随时掌握关键信息尤为重要。正因为如此，军方成为了AR应用最大的投资者之一。Q-Warrior Helmet是一款军事应用。该AR项目希望能为士兵们提供“保持警惕，视野开阔，手搭扳机”的场景意识，以及敌我识别、夜视影像和远程协调小分队的增强功能。该头盔会将每个佩戴者的具体位置信息提供给其他人，军事组织可以通过它在战斗或侦查行动中集结、行军、分享信息与位置。不难想象，未来类似的系统会出现在其他工作环境危险的职业中（如消防员、执法人员）。
混合现实模拟——在现实中探索虚拟
上述案例以提供静态数字信息的方式为我们展示了增强现实的应用，然而接下来这一类的AR实践相比之下更进了一步。通过这些所谓的混合现实模拟，用户可以在现实环境中动态地更换或调整虚拟物体。
最新的宜家应用Ikea Catalog就是其中最为突出的一个例子。借助于这个由Metaio公司开发的AR应用，消费者可以使用移动设备把所选的数字版宜家家具“放置”在自己家客厅里，从而更方便地测试家具的尺寸、风格、颜色摆在某个位置是否合适。该应用还允许用户调整每一个部件的尺寸和颜色。
优衣库的试衣魔镜（Magic Mirror）提供了一种更加个人化的AR试衣体验。2012年旧金山的一家优衣库门店安装了这台大型增强试衣镜，它能够识别顾客的身材和所选衣物，因此免去了再试其它颜色的必要。顾客只需换上某件衣物站到镜子前；根据触摸屏的提示选择其它颜色，镜子中就会投射出顾客身着另一种颜色的影像。
佳能推出的MRERL系统能够实现3D电脑渲染模型在现实环境中与现实世界物体无缝融合的设计过程。举例来说，汽车领域可以借助于这套系统设计出新汽车的模型。MREAL系统支持多用户协同工作，同步进行完整规模的产品设计。
这套系统可以用来分析新规划设计中现实部件如何组合的问题。其实现方式是，渲染出包括现有部件和新设计概念的3D模型，再将两者组合起来。
例如，可以将现有的汽车座椅整合到新车虚拟设计的投影中。MREAL系统提供的是混合现实，因此用户可以真的坐到（真实的）座椅上，看到汽车外面的真实环境以及汽车内部的数字虚拟模型——包括全新设计的仪表盘和方向盘。
另一个已投入使用的工业级AR应用来自空中客车公司（Airbus）。为了能够完全依靠数字工具完成新飞机的生产流程，空中客车公司于2009年联合打造了MiRA（混合现实应用）。该应用利用AR扫描部件、检测错误，从而提高了生产线的效率。
以A380客机为例，由平板PC、特制传感套件和软件组成的MiRA应用现在已将组装机身中成千上万个支架的时间由300小时降低至惊人的60小时。更为震撼的是，之后发现，损坏、安装错位或者遗失支架的数量却降低了40%。
日本的一位黑客利用现有的3D模型和廉价的动作传感器实现了与日本超人气虚拟歌手初音未来的AR“约会”。在演示视频中，初音陪着他漫步公园，初音能够识别现实世界的物体并做出反应（比如坐在真实的长椅上）。该软件甚至还能与这位虚拟歌手互动（比如摸摸她的头或领带）。尽管这个应用有着明显的煽动性，但它绝非只是噱头。由此我们可以想到，不久之后人们或许会有虚拟伴侣的陪伴，在需要时提供帮助（比如，辅助搞定医疗或工程问题，或者以人形界面的形式处理个人日历、备忘录、通讯录等日常数字事务）。
虚拟界面——在虚拟中控制现实
接入互联网“智能”玩意儿越来越多，获取数字信息的方式越来越多，于是打算利用AR设备及数据来工作的人也越来越多。因此，我们讨论的第四类——虚拟界面，关注的是提供以数字形式控制现实世界物体的新方式的AR技术。本质上说，这类技术让调整、控制真实物体的混合现实成为可能。
手势是一种随时与数字世界进行交互的高级方式。上文所说的麻省理工学院开发的SixthSense正是这么一种手势界面系统。尽管该系统目前采用的是空间AR技术，它也可以应用于其它各种技术中。借助于该系统，用户可以使用自然手势与信息进行交互。为了捕捉用户的输出意图，该系统的相机采用计算机视觉技术对用户手势进行识别和追踪。
基于AR的界面不局限于计算机设备。还能用来控制汽车，娱乐设备，以及加热系统这样的家居配套设施。仍在开发之中的家庭自动化系统Revolv正是这样的例子。结合Google Glass后，用户可以通过该系统控制家中的所有数字设备（如照明系统和门锁系统）。于是就形成了可以用语音或指尖控制的增强“智能”家居环境。
中国电商1号店的例子告诉我们，虚拟界面也不局限于家中。该公司曾宣布，将成立全球第一个AR连锁超市。
每一家超市将会有一块约1.2平方米的货架，设置在“空白”的公共区域（比如火车车站或地铁车站，公园或大学校园）。裸眼看去只是空荡荡的货架和墙壁，通过AR设备看到的则是完整的一个超市，货架上堆满了数字形式的真实商品。用户只需通过移动设备扫描商品，添加到网络购物车中，即可完成购买。AR购物完成后，用户会在家中收到配送的商品。这个概念类似于韩国地铁站里基于二维码的乐天超市，但得到了AR技术的增强。
结语：AR是一座比VR还要大的金矿
很多案例已经证明，AR技术在职业场合更有用。第一代谷歌眼镜在消费类市场遭遇了失败，但在一些小众市场，例如医疗健康领域，谷歌眼镜仍被证明非常有用。微软HoloLens的横空出世，让我们感觉到AR还能发挥更大的作用。
AR技术短并不在于游戏或耍酷，而是在于满足实际需求的职业应用，这些应用看起来并不是很酷，但却更贴近现实。相比于VR，AR似乎是一座更大的金矿。
我来答一记AR增强现实应用在欧洲杯转播上的例子。我们在 科技蜘蛛 – 知乎专栏 上发表了文章
欧洲杯直播之技术革命：瞬间转移 – 科技蜘蛛 – 知乎专栏 ，同时上了知乎日报，我就也搬到这里来啦。必须要表扬一下知乎。这篇文章最近被国内网站，包括一些大网，大转特转，招呼都不打一声，有些网甚至还擅自篡改作者名字，可恶！呼吁尊重版权，请关注认真提供内容但影响力还不大的小号！
本届欧洲杯，法国共有三家电视台拥有转播权，分别是 Bouygues 集团下属的法国第一大综合类电视台TF1，M6 Group 集团下属的娱乐综艺类频道 M6，以及卡塔尔 beIN Media Group下属的 beIN sports 体育台。付费台 beIN Sports 拥有全部33场比赛的转播权，TF1 免费转播其中22场比赛。同是免费台的 M6 虽然只有11场比赛的转播权，但它将转播7月10日在法兰西体育场举行的决赛。除了免费观看决赛转播，还有另一个原因值得你锁定M6：采用增强现实 (AR) 技术的直播访谈节目《100 % Euro le Mag》。
M6，原来你是这样的电视台
作为法国收视率第一的娱乐综艺类电视台，M6的王牌栏目有且不限于：最强房屋中介Stéphane Plaza 主持的暖心栏目 《卖房！》（Maison à vendre）；米其林两星大厨 Philippe Etchebest 主持的减肥者绕行栏目 《大厨》（Top Chef）和惊悚栏目 《厨房噩梦》（Cauchemar en cuisine）; 超模出身的时尚编辑 Cristina Cordula 主持的剁手秘籍 《血拼女王》（Les Reines du shopping)。
如此一个以内容取胜的电视台，在《100 % Euro le Mag》栏目中，凭借炫酷的直播技术，刷遍了各大电视广播科技媒体。有网友惊呼，OMG，人类终于实现了瞬间移动！不信？那就请看6月19日法国对瑞士的比赛前后的直播画面。
紧接着赛后参访本届法国队的全新国民偶像，黑马射手Dimitri Payet，这次是把队员“传”回演播室。
比赛中发挥出色的Payet心情很好，和主持人谈笑风声，应对自如，甚至还不乏眼神的交流。如果不是切入画面时这从天而降的五毛特效，没有人会怀疑Payet就在演播室现场。
目瞪口呆的网友们立刻在Twitter上炸开了锅，纷纷拜倒在M6的石榴裙下。
AR和VR是两个维度的东西，不能因为看到magicleap的视屏更炫就认为AR是更有前途的产品。MR是什么鬼，如果认为AR是数据和现实的叠加，那么AR必然是MR的，没有数据显示的AR是太阳镜，可能还是造型比较难看的那一类。
现在比较成熟的现实结构就是类似google glass和bt-200的那种，通过微型光机（Lcos）和结构光实现显示，这个我和谢煜博士一起做过类似的产品，所以了解一些。谢煜还在知乎写过google glass的机构，大概就是那样。类似的产品国内有几家在做，例如glxss等。如果没有猜错的话，Hololens也是使用相似的显示结构。
这类产品机构简单，技术成熟。但是缺点也很明显，显示范围小，发热大。而且AR最核心的问题在于没有合适的交互手段，如gg的边触摸和bt200的操作手柄都是很难实现有效交互的，在交互框架出现之前，设备很难达到实际应用的层面。
单向度输出的屏幕，唯一的方向是媒体。目前来看最有价值的AR产品就是hololens，但是从kinect的交互方案来说，想要在实际生活中流程的使用AR设备，还是路途很遥远的事。
毕竟你们想要的是华生，而不是一条只会摇尾巴的狗。
AR最大的价值在于对当前环境进行数据的叠加，数据以什么形式显示并叠加则是次要问题。换句话说，AR是在当前空间内，充分实现了空间利用的最大化。在这种情况下，一切平面皆是屏幕。一切物品都被赋予了展示数据的含义。所以如何有效的识别用户的意图就成了操作的重要方向。眼动识别将迎来一个高速发展的未来。传统的基于“屏幕（显示）+位置+操作”的服务模式将被一种新的模式打破，妄言之，未来的AR可能是：“目光（视觉识别）+主观价值+服务价值+操作+AR显示+记录”的模式取代，每个AR设备背后都建立着一个用户行为模型。
苍白的墙面展示着无比绚丽的AR之花。
而VR的本质是打破空间对人的束缚。对于VR来说，现实空间对个体的意义是非常小的，VR可以用极其低廉的成本为用户营造无限可定制的环境。而这种环境可以侵入现实空间，成为现实空间廉价的替代品。在现实空间的价值被打破后，原有基于空间形成的地域价值将被打破，世界将第一次面临彻底被打平的状况。个人也将第一次从地域的束缚中被释放出来。软件可无限复制而不损害价值的特性将彻底体现出来，而不被设备所局限。例如：
·节点取代城市；
·教育资源可无限复制并不被渠道限制；
·人的形象被重新定义；
…
没有有效交互手段的VR只能局限在对大屏幕的补充上，作为电影的VR和作为需要手柄的游戏机VR都是没有前途的，VR从业者要意识到这个行业的本质是要重新塑造人和空间的关系。甚至我们可以更加狂妄的说，VR是要从新塑造人和物质的关系。
人是衡量万物的尺度。
下面我们再聊聊聊混合。当VR成为一种模式之后，它的要求就不仅仅局限在自身内，我们就将通过VR来重返现实世界。上面描述了VR是一种空间的定义，我们对空间的认识就是通过感知。我们可以在VR中的交互必然是将我们行为数字化，并且将反馈数字化，从这个层面说，可用于VR的交互手段也必然可用于控制机器人其后交互。
当我们通过VR环境控制机器人设备进行对现实空间的互动时，我们就在信号有效的范围内无视距离的现实，随时降临在现实世界中。而这种降临时低成本、安全的。
1.首先，我个人觉得这基本上就是下一个重要的计算平台，和PC以及移动终端带来的市场效应一样甚至更大，国内外都会跟进的。
2.其次，简要介绍下VR/AR/CR。
Virtual Reality，虚拟现实，是利用电脑模拟产生一个三度空间的虚拟世界，提供用户关于视觉、听觉、触觉等感官的模拟，让用户如同身历其境一般，可以及时、没有限制地观察三度空间内的事物。用户进行位置移动时，电脑可以立即进行复杂的运算，将精确的三维世界视频传回产生临场感。该技术集成了计算机图形、计算机仿真、人工智能、传感、显示及网络并行处理等技术的最新发展成果，是一种由计算机技术辅助生成的高技术模拟系统。我觉得这个是基础，VR只是让你沉浸于虚拟世界而已，并不能像钢铁侠那样，目前应用广泛，也是最有可能最先大面积实现的，已经有FB旗下的Oculus Rift以及三星和Oculus合作开发的Gear VR等实现了。
Augmented Reality，增强现实技术，并不是单一的为你提供一个 3D的视觉维度，它指的是将你的世界更加具体的体现在你的眼前，涉及到物联网，3D视觉，手势操控，感官平衡， 人体工程学等等方面。是一个结合多方面且非常复杂的综合项目！非常复杂，再次强调非常复杂! 并且增强现实还和物联网有关系，因为需要感知是什么物体，设备才会在其上附上相应的虚拟显示。目前比较看好的是MS的HoloLens，沃尔沃和Autodesk CAD都已经和微软合作开发相应软件，沃尔沃的重新塑造新的购车体验如果搞成的话真心赞啊。
Cinematic Reality，影像现实，Magic Leap 称之为 “3-D light sculpture（雕塑）”，“a rocketship for the mind（头脑的舰船）”。
Google 等投资方已经给Magic Leap大投一笔，这是一个隐秘低调但略屌的项目，生产能够产生 “cinematic reality” 效果的软硬套件—看起来应该是虚拟增强现实的衍生概念，虽低调但还是引来了好莱坞和硅谷无限注目。最近一次融资阿里也投了，阿里高层蔡崇信已经入Magic的董事会了，哈哈哈，天朝没落伍!
所以说，一句话，像 Oculus Rift 之类的虚拟或增强现实设备往往让用户感觉到的一定距离视域是漂浮的，而 Magic Leap希望给你一个真实世界之上的3D体验。“我们主打 Cinematic Reality 的概念因为我们与虚拟现实、增长现实这样的概念都是可以划开界限的，你会觉得它是 30-40年后的计算技术。说得远一点，这可能会改变人之为人的意义。”
3.最后，需要说明的是VR必须要带头盔式设备的，AR也要带眼镜并且微软的官方视频是通过特定摄像机拍摄的，CR才是最牛的，全息图像完全裸眼，难度上面VR小于AR小于CR。有关市场预测详情可见高盛最近的有关VR/AR报告。
好吧，就这样吧，看看就好!
好吧，作为一个从来只看zhihu但是从来不露面的懒人，处女答就给你了..
不用谢。
1、概念就不谈了，因为谈的太多了，资料也很多，自己可以随便去找找；
2、目前AR，世界范围内，据偶了解，除了研发公司的开发人员， 对外展示的真机，还没有过。（别和我扯那些拉着AR概念就来忽悠投资的DEMO和展示什么的…骗术很低级…），去年6月份，微软说好展示的hololens真机展示，也嗝屁了…跑出了宣布了几个合作就跑了；所以目前在我了解到的真正意义上的增强现实设备，相对成熟的，类同Oculus开发者一代那种程度的，都还没有。微软的hololens目测应该是最成熟的，也是技术积累最厚实的，但是去年他们自己的开发成员也在抱怨，说显示屏太小等等问题…
3、目前阻碍AR硬件设备成型的问题很多，从最底层来说，偶了解到的有：算法问题，很底层的空间算法依旧有很多问题没有解决；场景采集问题，现实场景的即时采集、建模、投射到设备中的难点，这个问题，微软已经和美国顶尖的各大实验室在紧密合作，意图解决这个难点，一个摄像机上聚合了100个摄像头等等，但是要成功，3年后看看吧；
4、AR的改变，远远不是VR这么粗浅和低门槛，当然，只要我们中国制作大富士康依旧存在，那么不管多么高端的东西，我们依旧可以像做Oculus一样，在最短时间内偷别人的镜片参数、偷别人的整体设计然后换换颜色，说我们也作出了AR什么的…所以说，门槛也只是相对的..
5、我们如今面临一个科技爆发的点，很看好AR，但是能看到真正成熟、可民用的真机的演示，我期望能在2018年看到，而这，已经是我最乐观的估计了。
以上。
昨天有消息出阿里巴巴将参与增强现实公司Magic Leap的最新一轮融资，总额至少为8.27亿美元。
接下来就来视频加文字的方式科普下什么是VR、AR以及MR：
1、VR
虚拟现实(Virtual Reality，简称VR，又译作灵境、幻真)是近年来出现的高新技术，也称灵境技术或人工环境。虚拟现实是利用电脑模拟产生一个三维空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有限制地观察三度空间内的事物。
2、AR
增强现实（Augmented Reality，简称AR），也被称之为混合现实。它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。
3、MR
混合现实（Mix reality，简称MR），既包括增强现实和增强虚拟，指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存，并实时互动。系统通常采用三个主要特点：1. 它结合了虚拟和现实；2. 在虚拟的三维（3D注册）； 3. 实时运行。
至于AR在国内外发展的情况如何，你不妨去看看高盛近期发布了《VR与AR：解读下一个通用计算平台》的行业报告和艾瑞咨询出的2015年中国VR/AR市场研究报告
在这里做个硬广：
欢迎大家来关注AR与VR这个微信公众号
(二维码自动识别)
贴一下之前整理的学习笔记，请专业人士指正：
————————————————————————-
1. 手机AR：
·
发展阶段：硬件、操作系统、软件开发标准已经建立，具备了进入消费级市场的前提条件。但是由于缺乏刚性的应用场景，缺乏杀手级应用，下游应用市场没有规模起来，导致消费级市场没有打开，市场认知很低
·
产业链投资机会：
−
硬件和零部件：长期看不具备技术门槛，且技术积累在大型OEM手中，一级市场不存在投资机会
−
操作系统和SDK层：Google建立了行业标准，并致力于建立生态，小公司基本不存在机会
−
应用层：应用生态还没有建立，应用场景尚待挖掘，存在一定投资机会，主要考量因素包括：
a)
应用的市场规模，以及是否为刚性需求
b)
是否能形成壁垒（技术、商业模式等）
c)
目前的AR硬件能否很好的呈现AR效果，如果不能，需要多长时间
−
现有应用场景分析：
a) 早期教育领域（例如：小熊Neo）：
i.
Pros：技术实现容易，商业模式成熟
ii.
Cons：技术缺乏壁垒，应用场景比较狭窄
b) AR浏览器（例如：随便走）：
i.
Pros：与AR广告相结合，商业变现潜力大
ii.
Cons：技术难度中等，但是对UI的要求较高
iii.
Barrier：与传统O2O的用户交互差异较大，用户使用习惯的培养困难
c) AR广告（哈根达斯AR广告）：
i.
Pros：商业模式成熟，市场大
ii.
Cons：需要用户主动用手机扫描观看广告，除非能够提供很好的创意做引导，否则违背正常用户逻辑
d) AR游戏（如口袋妖怪AR版）
i.
Pros：虚拟与现实结合，具备新鲜感，容易打开市场
ii.
Cons：手机屏幕和现在的图像识别、渲染技术，制约了游戏效果
·
产业演变：手机AR是在智能眼镜AR大规模应用之前的过度产品，目前有一定应用及内容市场，但是未来将会被智能眼镜AR替代，按照Gartner新技术周期预测，这个时间大约是5-10年后
2.
智能眼镜AR
·
发展阶段：产品形态尚未确立，目前仍在硬件技术发展期
·
产业链投资机会：
−
硬件及零部件：
i. 显示设备中的光学模组：该领域在AR出现之前的应用很狭窄，是很垂直的领域，一些厂商在有技术积累，目前Hololens的光学模组在FOV和清晰度仍待提升，这些垂直类技术厂商存在一些投资机会，主要考量技术实力
ii. 3D图像识别技术组件：图像识别技术目前的门槛是数据积累的碎片化，多数公司在垂直领域（如人脸识别）深耕，具备经过长期训练的机器视觉算法，3D图像识别是AR的核心门槛，大厂可能会从小型创业公司进行技术收购，目前Apple和微软都收购了很多图像识别公司，但是中国公司在垂直领域的技术实力仍需要进一步研究了解
−
硬件价格过高，尚未能在消费级市场普及，系统层面、应用层面标准尚未建立，下游目前尚不具备投资机会
最近，各大科技媒体、网站甚至是股市都在热议VR（虚拟现实），称之为智能手机之后的又一个颠覆性科技产品，并称2016年为VR元年，大有当年O2O概念大举进入民生市场之势。各大国内外的科技公司如雨后春笋般纷纷发布了自己的VR硬件设备，包括Facebook的Oculus，谷歌的Cardboard，HTC的Vive，三星的Gear，以及一些国内的创业团队发布的VR产品（在我看来很多都不是真正意义上的VR设备）。一些游戏，影视行业也纷纷宣布将启动VR相关内容的创作。不可否认，VR的到来将带动这些行业的发展，为广大用户增添更加沉浸式的互动体验。然而在我看来，VR并没有媒体渲染的那么“颠覆”，相比VR，AR（增强现实）才是真正意义上的颠覆性科技产品。因为人类在日常生活中与现实世界的事物互动的要更多一些，而AR的核心理念就是通过在现实环境中加载虚拟信息，来帮助人类完成工作。AR将在未来颠覆许多行业的生产、消费模式，并改变大众的日常生活方式！
AR与VR的区别
VR，即虚拟现实，是将用户带入到虚拟世界中，体验一种沉浸式的虚拟感受。最典型的VR使用场景就是游戏和视频，将用户带入游戏和视频场景中，让用户近距离感受和参与其中。由于VR的这种特性，用户必须与现实环境割裂开来，进入一个完全虚拟的场景中，即使这个虚拟场景是根据用户所处的真实环境创造的。
AR，即增强现实，是为用户在所处的现实环境中提供虚拟数据，通过两者相结合来帮助用户完成现实环境中的任务和工作。AR所提供的虚拟环境是依附于真实环境的。因此，除了也能够满足用户的娱乐性需求外（游戏，视频等），AR在现实生活中的许多产业例如汽车制造，建筑设计，医疗、教育，以及大众的日常生活模式中都能够发挥作用。也因此，我认为未来AR的前景更加广阔。(有些媒体还从AR的基础上提出了混合现实虚拟的概念MR，即在现实中探索虚拟物体，但我认为MR只算是AR的一类细分，MR的基础还是在现实环境中与虚拟物体进行交互，故本文不再详细区分AR与MR)。
AR的发展历程及里程碑式的产品
AR无论从诞生还是在实际应用上都比VR要早得多，我小时候作为业余军迷，就已经在各大军事论坛上看到大家在讨论的美国空军平显设备是多么先进，飞行员可以通过平显查看几公里外的敌军动向，帮助导航等等，这其实就是早期的增强现实设备，它结合了现实的外部环境，并通过显示屏像飞行员展示坐标信息、雷达信号等虚拟信息，从而帮助飞行员执行任务。现如今平显已经升级为头盔显示器(HMD)了。
GoogleGlass
2013年的Google Glass，是AR的另一款里程碑式的产品，它也是第一款消费级别的AR产品。用户佩戴谷歌眼镜在路途中查询地图导航，拍照，与朋友通讯等功能在当年让大众用户印象深刻。
Microsoft Hololens和Meta
微软在15年发布的AR头盔HoloLens,则真正的像大众展示了AR未来的潜力！HoloLens是一款光学透射型头盔，通过光传导虚拟内容，从而在人眼中重叠现实内容与虚拟内容。相对于谷歌眼镜，HoloLens本身就是一台独立的计算机，拥有自主的信息处理系统，这使得它与现实场景结合的更加密切、实时，并且能够更自由的与虚拟内容“互动”。而这两点的完善可以支持AR应用到更多的实际场景和行业当中。
Meta作为一款增强现实工具，和Hololens走了一条不同的道路。首先，相比Hololens的独立性（本身就是一台独立计算机），Meta的头盔只能算作是终端显示设备，Meta处理现实环境和虚拟信息的结合依靠的是后端的处理系统，因此，除非你背上一台运算能力强大的笔记本电脑，否则当你使用Meta时，你的活动能力将受到限制。Meta牺牲了活动能力，但换来的是强大的信息处理能力：Hololens受制于体积和重量，它的信息处理能力也受到了限制，Meta则背靠后台强大的处理系统以及理论上无限制的电源支持。
Meta的可视区也比Hololens要大。Meta宣称可达到90度的对角可见区域，这已经达到了很多VR设备的可视区（Hololens有35度左右）。更大的可视区域可以为用户带来更加沉浸的增强现实体验，当然，这背后依靠的是更加强大的GPU。
Hololens使用的是Windows10系统，因此，在Hololens的使用中有很多功能以及交互方式是和Windows10关联的，比如可以通过Cortana来使用语音指令操作，Hololens还保持着一些传统的电脑界面的交互方式，例如移动指针，以及选择-点击。Meta则希望摒弃电脑手机时代繁杂的与人类的自然行为相矛盾的交互方式，它希望通过使用自然的手势来与虚拟界面进行互动。
对于现实环境的识别和实时更新是Hololens一直在大力研究的，它能做到随着用户的视线移动来更新虚拟环境。在这方面，Meta还有所欠缺。
MagicLeap
不同于Hololens和Meta，Magic Leap采用了完全不同的科技来结合真实环境和虚拟信息。Magic Leap采用的技术叫做”动态数字化光场信号“（Dynamic Digitized Lightfield Signal），这种技术可以直接将虚拟图像传输到瞳孔上，而传统的接收虚拟图像的方法是通过光线折射到眼中。目前Magic Leap还没有发布真实的产品，只有一些官方发布的视频以及传说中少数人试用过其研究室里的模型产品。这项新技术提高了用户在运动时导致的不同视角下的成像质量，确保了运动中虚拟信息和现实环境能够实时重叠。从官方公布的视频上来看，Magic Leap并不需要用户佩戴头部设备即可看到虚拟的3D影像。
AR在各行业中的应用
VR可以说是专门为游戏和影视体验而设计的，它将用户从荧幕前带入了荧幕里面，让用户融入进了游戏和影视中。AR则旨在连接现实环境与虚拟环境的技术理念让它在现实环境中拥有了更多的使用场景。
AR的应用可以颠覆很多现有的行业模式，比如教育行业！在Magic Leap发布的视频中，用户在家里展示了地球和太阳系的虚拟影像，它可以很生动形象的为孩子们讲解天文知识，没有比这更能吸引孩子们的注意力了！在医疗行业中更是如此，教授不用再拿着塑料的人脑来给学生讲解脑补构造了，一个真实的全息3D人脑出现在你的视线前，模拟真实的脑部构造及活动，学生甚至可以观察到人在思考时脑部电流的活动情况。导师可以更加形象的给学生讲解器官的构造、生理特点等信息，并且可以低成本、低风险的指导学生进行外科手术。
AR将为建筑设计等设计行业带来变革。设计师通过AR设备可以模拟现实环境中建筑设施及其周边的交通、天气变化、灯光照明等细节，可以高效的、视觉化的、低成本的思考和测试设计方案。团队协作中AR也能展示出强大的功能，例如在新车设计中，团队可以在通过AR，在整车真实部件的基础上迅速渲染切换其他汽车组件，从而快速分析不同组合的优缺点。
AR还将会为大众用户带来不一样的购物体验！看过宜家发布的AR购物视频吗，怎样挑选一款符合客厅的风格，而且尺寸也刚刚合适的沙发呢？AR可以帮你模拟电商网站里的沙发放置在家中的情景，你可以通过AR快速在客厅的角落切换放置不同的款式、颜色和尺寸的沙发，直至选中一个最合适的，你所要做的只是动动手指，而这在目前只能通过你的慧眼独具了。
怎样修理汽车里复杂的零件？4S店太远太贵，说明书又看不懂，AR可以帮到你！AR设备可以帮你指出哪个零件坏了，并通过模拟和实时指导来帮你修理损坏的零件，就像有个老师傅在你身边指导你一样。
宝马的Heads Up Display将路况和车况信息投射在挡风玻璃上，司机再也不用低头查看仪表和导航了。出门旅游来到陌生的城市，Junaio鹰眼帮你将周边的街道、建筑物等介绍信息标注出来，你不再需要花钱雇一个导游就可以自由的浏览名胜古迹了。AR还可以在你逛商场时将商场里的促销信息实时展示给你，让你体验到在电商平台才能获得的体验。
AR游戏也给我们带来不同的体验。Hololens发布的游戏视频中用户可以将游戏场景渲染到室内，换句话说，你的卧室可以变成射击游戏的战场，未来你也可以体验到像钢铁侠在实验室内穿戴装甲那样的酷炫场面，这都可以通过AR来实现。日本曾经举办过3D全息图像的初音未来演唱会（伪全息），据说有很多宅男都去观看了演唱会。有了AR，你的身边也可以有一个随时随地陪伴着你的初音未来，陪你一起吃饭，一起上学（只能看不能碰！）。
AR在企业端的应用在将来会是一个趋势，并且很可能比C端的普及更加的早。AR的使用可以帮助企业用户提高工作效率，例如物流仓储运作，电商行业的仓储拣货系统是保证快速物流配送的关键因素之一。AR能够通过仓储信息可视化来提高拣货的效率，利用货物的条形码和包装信息，AR系统可以向拣货员展示货物的位置及数量信息，并通过室内导航引领拣货员发现货物。借助AR系统，每一位新手拣货员可以立即进化成经验丰富的老员工。
AR的前景与思考
AR目前还面临着许多技术难题，导致产品的商业化还有一段路要走。例如用户在视线移动中的虚拟图像即时渲染问题，虚拟图像只有在精准且实时的与现实环境相融合的前提下才能够发挥作用，但这两点要求的实现需要强大的运算能力和内存空间作支持。而AR或者VR的可移动特性又意味着用户不可能随身携带笨重庞大的“超级计算机”，因此，如何小型化硬件设备，但同时又具备强大的运算能力、内存空间，长续航能力，散热快，网络稳定，可视化交互等性能是AR设备发展的方向。
AR的应用前景广阔，可以确定，在不远的将来，AR将会出现在我们生活中的每一个角落。作为一名交互设计师，我们现阶段应该做的是尽可能的了解AR的工作原理、特性，关注AR相关企业和技术的发展更新，同时要深入思考在目前的生活、工作领域中，哪些场景能够引入AR技术，并能够解决哪些问题，带来哪些不一样的体验。与此同时，我们应该清醒的意识到，我们可能不再像现在这样需要智能手机，伴随着智能手机的交互方式可能会落伍，随之而来的可能是更加立体的、更加符合人体力学的交互方式，那我们该怎么办呢？
相关阅读
HoloLens vs Meta 2
What is Magic Leap and why might it kill all screens?
http://games.qq.com/a/20160426/033972_all.htm#
http://cerasis.com/2016/02/10/augmented-reality-supply-chain/