增强现实与虚拟现实与混合现实——入门指南

已发表: 2022-03-11

尽管有许多共同点,但 VR、AR 和 MR 并不是一回事。 我们讨论了这三种有前途的相关技术的关键区别、驱动力和用例。

从 View-Master 包含七对立体 3D 小彩色照片的薄纸板光盘到今天的 VR 及其近亲 AR,今天的技术已经走过了漫长的道路。 事实上,由于 Facebook、谷歌、三星和许多其他押注高价值回报的巨头的巨额投资,虚拟现实和增强现实越来越频繁地进入我们的新闻源。

视图大师
View-Master 的迪士尼乐园卷轴,1963 年的广告。

在本文中,我们首先强调 VR、AR 和 MR 之间的细微差别,然后快速回顾一下 VR/AR 是如何演变的。 最后,我们评估它们如何适应今天的现实,以及它们如何影响明天。

什么是虚拟现实 (VR)?

虚拟现实 (VR) 是一种由设备投射到用户视线中的模拟沉浸式体验。 想象一下走在香榭丽舍大街(巴黎),同时仍坐在旧金山的地下室。 您所需要的只是一个通过取景器将您投射到模拟中的耳机。 这正是 VR 所承诺的,还有更多。

虚拟现实如何运作?

将 Google Pixel 手机折叠成 DayDream 耳机的 GIF
白日梦 VR 耳机。

你们中的一些人可能还记得使用 1960 年代推出的美泰 View-Master 是多么激动人心的体验。 今天的 VR 是立体观光效果的现代版本:它需要在头显的视口内安装一组镜头,以及存储或计算体验的安装设备。

某人使用 HTC Vive Tilt Brush VR 应用在 3D 空间中使用虚拟现实绘画的 GIF
谷歌的 Tiltbrush。

从纯粹的观察到完全沉浸,VR 功能的范围取决于所使用的设备和耳机类型。 使用与已安装耳机同步的遥控器,用户可以在体验中与空间中的 3D 对象进行交互——无论是用于 VR 游戏还是虚拟界面和应用程序。

VR的简史及其随时间的演变

暂且不谈 VR 的技术性,专注于它旨在将我们投射到的沉浸式 360° 体验,我们可以说虚拟现实始于“19 世纪的 360 度壁画(或全景画), ”正如虚拟现实协会在他们的虚拟现实历史中所说的那样。 我们从早期的飞行模拟器(1929 年)转变为 1960 年 Morton 的第一个 VR 头戴式显示器,再到 1999 年 Neo 在 Matrix 中以模拟的形式体验整个世界。

哪些公司正在引领当今的 VR 市场?

当今市场上佩戴主要 VR 耳机的人:Google Daydream、Samsung Gear VR、Oculus Rift、Sony Playstation VR、HTC Vive
谷歌、三星、Oculus/Facebook、索尼、HTC。

快进到 2014 年,谷歌推出了一款使用智能手机驱动 VR 体验的大众市场 DIY 耳机:Google Cardboard。 紧随其后的一年,三星推出了他们的 Gear VR,新的虚拟现实竞赛正式开始。 Oculus VR 于 2014 年 6 月正式收购,加入 Facebook 家族,以加速其在虚拟现实耳机高端领域的统治目标。

什么是增强现实 (AR)?

顾名思义,增强现实或 AR 通过重叠计算机生成的图形、图像或一组交互式数据来增加我们对世界的感知。

WWDC 2017 上的 Apple AR 演示,增强现实中桌子上的 3D 渲染变色龙
资料来源:Apple WWDC 2017。

增强现实是如何工作的?

到今天为止,AR 只需要一部带摄像头的智能手机和一个 AR 应用程序。 使其发挥作用的两个关键要素是相机能够在您移动时捕捉您周围的环境,以及计算和投影一些计算机生成的视觉效果或内容的软件。

IKEA Place AR App Demo 展示了投影在 AR 客厅中的 3D 渲染家具
宜家 Place AR 应用程序。

这方面的一个很好的例子是宜家最近的 AR 应用程序,它允许任何人想象任何房间或空间使用该品牌的一些家具会有什么感觉。

设计师和建筑师显然可以从这种在现实生活环境中创建真人规模对象的新方法中受益。 “现在,技术已经赶上了我们的野心。 AR 让我们再次重新定义了家具零售的体验,我们不懈地追求为每个地方的每个人创造更美好的日常生活,”Inter IKEA Systems 数字化转型负责人 Michael Valdsgaard 说。

AR简史

从 1998 年在现场 NFL 比赛中投下第一个虚拟黄线标记到重叠地图数据以协助 NASA 飞行模拟,增强现实在科幻小说之外已经存在了几十年。

早在 1974 年,Myron Kruger 将投影仪和摄像机结合在一个交互式环境中——这就是我们今天所知的 AR 的诞生。

最近,AR 在 Apple 的 WWDC 17 上朝着更广泛的采用迈出了一大步,当时 AR 开发通过 ARKit 引入大众,ARKit 是为 iPhone 和 iPad 创建的增强现实应用程序的开发框架。

ARkit vs. ARCore——苹果和谷歌为 AR 统治而战

Apple ARKit 对抗 Google ARCore 增强现实技术
苹果和谷歌。

Apple 针对 iOS 11 的 ARKit 承诺让 AR 内容开发和大众消费民主化。 这是对谷歌 ARCore 的直接回应,与苹果相反,谷歌的 ARCore 具有利用其在 VR 领域的知识的优势。 AR 设计和开发框架都承诺简化和加速创建过程,并将技术交到已经使用 Android 和 iOS 手机的数百万人手中。

由于增强现实应用程序对大众市场来说仍然是新的,所以现在判断这些开发工具包有多么不同还为时过早,除了它们各自特定于自己的操作系统和核心受众。

既然两家最著名的科技公司——它们控制着 99% 的智能手机市场——已经在增强现实背后公开采取行动,我们应该准备好再次看到行业被颠覆。

混合现实 (MR) 怎么样?

混合现实是 VR 和 AR 的混合体,旨在提供两全其美的体验。 例如,虽然它像 VR 一样使用头戴式设备,透过半透明的视口或玻璃观看,它还会在我们的环境之上投射视觉效果。

MR 的突出之处在于它的高度交互性,以及它添加到我们周围环境中的投影的真实渲染。 我们可以使用自然的身体和手指手势与沉浸式内容进行交互,而不是仅仅依赖遥控器或手机屏幕。

苹果和谷歌显然在 AR 技术上处于领先地位,但今天的 MR 领域有利于微软(HoloLens),并且大量资助了 Magic Leap(到目前为止只是一个概念演示)。

Microsoft HoloLens 和 Magic Leap – 混合现实竞赛的两位王者

微软 HoloLens

Microsoft HoloLens 混合现实应用程序演示的 GIF - 解剖研究
Microsoft HoloLens 全息技术。

尽管谷歌眼镜在商业上失败了,但微软并没有回避在 MR 游戏中尝试自己的“全息电脑”。 “HoloLens”这个名字来源于核心体验“使您能够参与您的数字内容并与您周围世界的全息图互动”。

魔法飞跃

Magic Leap混合现实技术演示GIF——交互式3D虚拟大象
图片来源:Magic Leap。

作为资金最多的产品前初创公司之一,这家由谷歌支持的企业也是科技行业有史以来最神秘的项目之一。 Magic Leap 首席执行官 Rony Abovitz 称其为“电影现实——视觉计算的彻底转变”。 这家混合现实技术公司通过利用虚拟和增强现实系统的优势来应对交互环境设计的挑战。

尽管尚未公开,但全息眼镜使用动态数字化光场信号——将图像直接投射到眼睛中,并“欺骗”大脑使其认为它是真实的。 结果是更丰富、更可信的增强体验。

VR、AR 和 MR 如何重新定义我们看待和体验世界的方式?

用于娱乐和大众媒体消费的 VR

乐高星球大战 360 登陆页面的 GIF 以全景方式移动页面视图
乐高/星球大战。

VR 出现的明显赢家之一是娱乐业。 乐高星球大战 360 度体验是一个很好地采用和实施虚拟现实的例子,它使观众能够以完全不同的方式体验讲故事的方式。

通过宣布首款独立 VR 头戴式设备(无需连接手机或电脑),科技巨头 Facebook 正在积极推进其让 VR 大众化的计划。

AR 几乎在一夜之间重塑了百年老公司任天堂

随着 2016 年 Pokemon Go 的爆炸式成功,世界首次看到了 AR 如何通过在智能手机屏幕上进出的小怪物来增强现实,从而真正“移动”我们的现实。

来自 Pokemon Go 宣传视频的 GIF 片段
口袋妖怪围棋。

混合现实。 合并现实? 五味杂陈。

由于与其近亲 VR 和 AR 的区别不明确,混合现实很难定义其未来。

就像 VR 一样,MR 使用耳机来启动体验。 但混合现实设备与典型的 VR 硬件不同,因为它们使用像谷歌眼镜这样的半透明眼镜,让我们在现实世界中保持扎根——虚拟现实与现实现实相混合。

与 AR 一样,MR 将数字内容和模拟叠加在我们通常看到的内容之上。 但是混合现实体验可以让你以 AR 还无法实现的方式与模拟进行物理交互。 而且,您可以使用您的身体和遥控器以更互动的方式与环境互动,而不是仅仅依赖您的手机屏幕。

英特尔的现实路线图,它更喜欢术语合并现实而不是混合现实
根据英特尔的现实路线图,它更喜欢“合并现实”而不是混合现实。 (由 ExtremeTech 提供)

VR、AR 和 MR 领域的数字

为了真正实现并实现更广泛的采用,金融牵引力将成为技术和体验牵引力的关键指标。

在 Alphabet 旗下的 Google Ventures、阿里巴巴和 Andreessen Horowitz 等知名投资者的支持下,Magic Leap 以近 20 亿美元的风险投资在 MR 投资领域处于领先地位。

让我们回顾一下当今市场上对主要 VR/AR 公司的主要投资。

市场主要VR/AR公司重大投资柱状图

新现实的设计考虑

为 VR、AR 和 MR 设计类似于创造新的现实。 这种沉浸式和多维内容制作的新范式需要新的规则和考虑。 增强、虚拟和混合现实设计利用了从视觉设计(3D、UI)到体验设计(UX、产品)和开发等现有技能。

从对人体解剖学、同理心、声音到视觉设计等方面的理解——当涉及到标准 2D 矩形画布之外的设计时,创意人员拥有了一个全新的竞争环境。

3D 和视觉设计

3D 对象和网格

虚拟现实设计师在打造沉浸式体验和界面时必须使用完全不同的方法和工具集。 更准确地说,他们必须在 2D 屏幕或矩形之外思考,而是将他们的创意画布视为无限的 360° 空间。

一切都变成了三维的,因此,VR 设计师最好与 3D 专家合作和/或使用 WebGL 和其他开源工具获得对 3D 图形的基本了解。

流行的 3D 创作软件包括:

  • Unity3D(设计+游戏引擎)
  • 谷歌 VR 块
  • Blender 3D(免费,开源)

了解规模和定位

一个人在房间中的图形,其中包含 HTC Vive VR 空间要求的空间测量值
图片来源:HTC Vive 空间要求。

VR 和 AR 设计的规模和定位考虑因素相互关联并相互影响。 一方面,元素与观看者的距离会影响易读性以及与它交互的难易程度。 另一方面,模拟现实中物体的比例反映了同一物体在现实世界中的大小或远/近。

跟踪和移动

Oculus Rift Touch 控制器 - VR 运动追踪系统
图片来源:Oculus Rift Touch 控制器。

运动跟踪的概念与所使用的虚拟、增强和混合现实硬件和软件相关联。 例如,虽然 Google Cardboard 主要允许通过手机的加速度计进行基本的运动跟踪,但最近的 Google Daydream VR 耳机配备了一个遥控器,允许您指向事物并驱动虚拟空间内的交互。

在频谱的高端,像 Oculus Rift 和 HTC Vive 这样的沉浸式系统允许更灵敏的运动跟踪系统和交互式控制器。

为运动跟踪器和控制器进行设计需要对自然的人类手势和物理可供性有很好的理解。 做到这一点有助于增强沉浸效果。

从更传统的学科中汲取灵感

传统艺术和动画原理清单
资料来源:迈克·阿尔杰。

在为 AR/VR/MR 进行设计时,没有必要重新发明轮子。 就像我们从印刷过渡到网络时一样,我们可以从更传统的艺术形式中汲取很多线索并应用许多原则。

例如,色彩理论、构图规则和照明最佳实践仍然适用于新媒体。 因为它仍然是我们试图在不同的环境中模拟和体验的真实世界,所以通过利用新技术,在为我们正在构建的新现实进行设计时,可以利用核心视觉艺术原则。

动画和过渡原则

弹跳方块的 GIF 动画
资料来源:生命的幻觉。

动画原理也是如此——当应用动画的 12 条原理(除了迪斯尼)时,虚拟现实中的过渡效果和运动获得了很多可信度。 让我们简要回顾一下它们:

  1. 挤压和拉伸:扩展和压缩物体以模拟运动中的重量和体积。
  2. 预期:一个重要行动即将发生的指标。
  3. 分期:在对象的每个状态/位置中都有明确的意图。
  4. Straight Ahead and Pose to Pose:首先定义开始和结束状态,然后填补空白。
  5. 跟随和重叠动作:当许多运动中的部分停止时,它们不会同时停止。
  6. 慢进和慢出:又名缓动效应 - 变慢,然后快,然后慢。
  7. Arc:简单地说,在大多数动作中增加一点曲线。
  8. 次要行动:添加到主要行动以加强或补充它。
  9. 时序:使用速度或延迟来模拟物理或时间尺度。
  10. 夸张:强调特定动作以帮助强调某事。
  11. 实体图:让事物看起来更具立体感。
  12. 吸引力这个原则需要有趣和引人注目的特征。

工具和资源

为了使这些新兴技术民主化并激发共同创造的精神,许多公司与世界分享他们的设计和开发框架。 以下是帮助您开始使用虚拟现实、增强现实和混合现实的一些关键资源:

  • Facebook 设计 – VR 资源
  • 苹果——ARkit
  • Microsoft HoloLens 混合现实 – MR 套件

增强现实、虚拟现实和混合现实的未来

如果我们考虑 Pokemon Go 在全球范围内的成功,AR 已经显示出更广泛的采用率。 今天,体验增强现实只需要一部配备最新操作系统的智能手机、一个不错的相机和一个 AR 应用程序——没有入门成本,我们拥有整个世界作为我们的画布。

苹果最近进入 AR 游戏有望进一步推动增强现实趋势。 蒂姆库克在这件事上表达了他的立场:“VR 显然有一些很酷的小众事物,但在我看来并不深刻。 AR 意义深远。”

尽管 VR 的历史比 AR 或 MR 更长,但虚拟现实似乎存在观众问题,主要是因为获得体面的 VR 耳机的采用成本很高,长时间使用会带来身体不适,以及缺乏具体的技术用例。

“虚拟现实是如何工作的?” 是我们经常在网上和 VR 活动中听到的问题。 尽管如此,许多行业都可以利用该技术创造新的机会。 例如,汽车行业的虚拟现实展示了一些令人兴奋的可能性。

最后,混合现实是真实、增强和虚拟现实的完美融合。 “应用无穷无尽,”Avegant 首席执行官 Joerg Tewes 说。 他思考设计师和工程师如何直接用手操作 3D 模型。 “混合现实使人们能够直接与他们的想法互动,而不是在屏幕或键盘上,”他补充道。

世界正以前所未有的方式通过沉浸式 3D 内容和数字领域扩展其边界。 对于设计师、工程师和公司来说,这是一个加入这场革命的独特机会。


让我们知道您的想法! 请在下方留下您的想法、评论和反馈。

• • •

进一步阅读 Toptal 设计博客:

  • 设计原则及其重要性
  • 最佳 UX 设计师作品集——鼓舞人心的案例研究和示例
  • 探索完形设计原则
  • Adobe XD 与 Sketch – 哪种 UX 工具适合您?
  • 顶级设计师使用的 10 个 UX 可交付成果