Дополненная реальность, виртуальная реальность и смешанная реальность: вводное руководство

Несмотря на много общего, VR, AR и MR — это не одно и то же. Мы обсудим ключевые отличия, движущие силы и варианты использования этих трех многообещающих связанных технологий.

Сегодняшние технологии прошли долгий путь от дней тонких картонных дисков View-Master, содержащих семь стереоскопических 3D-пар небольших цветных фотографий, до сегодняшней виртуальной реальности и ее близкой родственницы AR. На самом деле, благодаря крупным инвестициям таких гигантов, как Facebook, Google, Samsung и многих других, делающих ставку на высокую прибыль, виртуальная и дополненная реальность все чаще и чаще попадают в наши новостные ленты.

В этой статье мы начнем с выделения нюансов между VR, AR и MR, а затем совершим небольшое путешествие в прошлое, чтобы увидеть, как развивались VR/AR. Наконец, мы оцениваем, насколько они вписываются в сегодняшнюю реальность и как могут повлиять на завтрашнюю.

Что такое виртуальная реальность (VR)?

Виртуальная реальность, или VR, представляет собой смоделированный и захватывающий опыт, проецируемый устройством в поле зрения пользователя. Представьте, что вы идете по Елисейским полям (Париж), сидя в своем подвале в Сан-Франциско. Все, что вам нужно, это гарнитура, которая проецирует вас в симуляцию через видоискатель. Это именно то, что обещает VR, и многое другое.

Как работает виртуальная реальность?

Некоторые из вас, возможно, помнят, каким захватывающим было использование View-Master от Mattel, представленного в 1960-х годах. Сегодняшняя виртуальная реальность — это современная версия этого стереоскопического эффекта осмотра достопримечательностей: для этого требуется набор линз внутри окна просмотра на гарнитуре и установленное устройство, на котором впечатления сохраняются или вычисляются.

Диапазон возможностей виртуальной реальности варьируется от простого наблюдения до полного погружения в зависимости от устройства и типа используемой гарнитуры. Использование пульта дистанционного управления, синхронизированного с установленной гарнитурой, позволяет пользователю взаимодействовать с трехмерными объектами в пространстве в рамках опыта — либо для игр виртуальной реальности, либо для виртуальных интерфейсов и приложений.

Краткая история виртуальной реальности и ее эволюция во времени

Оставив на мгновение в стороне техническую сторону виртуальной реальности и сосредоточившись на иммерсивном 360-градусном опыте, в который она призвана проецировать нас, мы можем утверждать, что виртуальная реальность началась с «360-градусных фресок (или панорамных картин) девятнадцатого века, », как заявляет Общество виртуальной реальности в своей истории виртуальной реальности. Мы перешли от раннего авиасимулятора (1929 г.) к первому шлему виртуальной реальности Мортона в 1960 г., а затем к Нео, переживающему весь мир как симуляцию внутри Матрицы в 1999 г.

Какие компании сегодня лидируют на рынке виртуальной реальности?

Перенесемся в 2014 год, когда Google выпустила массовую гарнитуру DIY, которая использует смартфон для управления виртуальной реальностью: Google Cardboard. Через год последовал Samsung со своим Gear VR, и новая гонка за виртуальную реальность официально началась. Официально приобретенная в июне 2014 года, компания Oculus VR присоединилась к семье Facebook, чтобы ускорить свое стремление к доминированию в высококлассном спектре гарнитур виртуальной реальности.

Что такое дополненная реальность (AR)?

Как следует из названия, дополненная реальность или AR дополняет наше восприятие мира, перекрывая созданную компьютером графику, изображения или набор интерактивных данных.

Как работает дополненная реальность?

На сегодняшний день для AR требуется только смартфон с камерой и приложение AR. Два ключевых элемента, которые заставляют его работать, — это способность камеры захватывать окружающую вас среду, когда вы двигаетесь, и программное обеспечение, которое вычисляет и проецирует некоторые визуальные эффекты или контент, созданные компьютером.

Одним из ярких примеров этого в действии является недавнее приложение IKEA с дополненной реальностью, которое позволяет любому представить, как любая комната или пространство будет выглядеть с некоторой мебелью бренда.

Дизайнеры и архитекторы могут извлечь выгоду из этого нового способа создания объектов в натуральную величину в контексте реальной жизни. «Теперь технологии догнали наши амбиции. AR позволяет нам еще раз пересмотреть опыт розничной торговли мебелью в нашем неустанном стремлении сделать повседневную жизнь лучше для всех и везде», — говорит Майкл Вальдсгаард, руководитель отдела цифровой трансформации Inter IKEA Systems.

Краткая история дополненной реальности

От создания первого виртуального маркера желтой линии во время живой игры НФЛ в 1998 году до перекрытия картографических данных для помощи в моделировании полетов НАСА — дополненная реальность на протяжении многих десятилетий жила за пределами научной фантастики.

Еще в 1974 году Майрон Крюгер объединил проекторы и видеокамеры в интерактивной среде — это было рождением дополненной реальности, какой мы ее знаем сегодня.

Совсем недавно AR сделала большой шаг к более широкому внедрению на конференции Apple WWDC 17, когда разработка AR была представлена ​​массам с помощью ARKit, среды разработки приложений дополненной реальности, созданных для iPhone и iPad.

ARkit против ARCore — борьба между Apple и Google за господство в AR

ARKit от Apple для iOS 11 обещает демократизировать разработку и массовое потребление AR-контента. Это прямой ответ компании ARCore от Google, которая, в отличие от Apple, использует свои знания, поскольку также находится в пространстве виртуальной реальности. Среды проектирования и разработки дополненной реальности обещают упростить и ускорить процесс создания и предоставить технологию в руки миллионов людей, уже использующих телефоны Android и iOS.

Поскольку приложения дополненной реальности все еще новы для массового рынка, еще слишком рано говорить о том, насколько действительно отличаются эти комплекты разработки, за исключением того, что каждый из них специфичен для своих операционных систем и основной аудитории.

Теперь, когда две самые известные технологические компании, контролирующие 99% рынка смартфонов, сделали такой публичный шаг в поддержку дополненной реальности, мы должны быть готовы к тому, что отрасли снова разрушатся.

Как насчет смешанной реальности (MR)?

Смешанная реальность представляет собой гибрид виртуальной и дополненной реальности и призвана предложить лучшее из обоих миров. Например, хотя он использует гарнитуру, как и VR, видя через полупрозрачное окно просмотра или стекло, он также проецирует визуальные эффекты поверх нашей среды.

Что выделяет MR, так это его интерактивный аспект и реалистичная визуализация проекции, которую он добавляет к нашему окружению. Вместо того, чтобы полагаться исключительно на пульты дистанционного управления или экраны телефонов, мы можем взаимодействовать с иммерсивным контентом, используя естественные жесты тела и пальцев.

Apple и Google явно лидируют в технологии дополненной реальности, но сегодняшний ландшафт MR отдает предпочтение Microsoft (HoloLens) и широко финансируемому Magic Leap (пока только концептуальная демонстрация).

Microsoft HoloLens и Magic Leap — два короля гонки смешанной реальности

Microsoft ХолоЛенс

Несмотря на коммерческий провал Google Glass, Microsoft не упустила возможности попробовать свой собственный «голографический компьютер» в игре MR. Название «HoloLens» происходит от основного опыта, «позволяющего вам взаимодействовать с вашим цифровым контентом и взаимодействовать с голограммами в окружающем вас мире».

Волшебный прыжок

Будучи одним из самых финансируемых предпроектных стартапов, это предприятие, поддерживаемое Google, также является одним из самых секретных проектов в технологической индустрии. Генеральный директор Magic Leap Рони Абовиц называет это «кинематографической реальностью — полным сдвигом в визуальных вычислениях». Эта компания, занимающаяся технологиями смешанной реальности, решает задачу проектирования интерактивных сред, используя лучшее из систем виртуальной и дополненной реальности.

Хотя это еще не обнародовано, голографические очки используют динамический оцифрованный сигнал светового поля, проецируя изображения прямо в глаз и «обманывая» мозг, заставляя его думать, что это реально. Результатом является более богатый и более правдоподобный дополненный опыт.

Как VR, AR и MR меняют то, как мы видим и воспринимаем мир?

VR для развлечений и потребления средств массовой информации

Одним из очевидных победителей от появления VR стала индустрия развлечений. Lego Star Wars 360 Experience — один из примеров отличного внедрения и внедрения виртуальной реальности, который позволяет зрителям совершенно по-новому взглянуть на повествование.

Анонсировав первую в истории автономную гарнитуру виртуальной реальности (не требующую подключения к ней телефона или компьютера), технический гигант Facebook переходит в наступление со своим планом демократизации виртуальной реальности.

AR заново изобретает Nintendo — компанию с вековой историей — почти за одну ночь

Благодаря взрывному успеху Pokemon Go в 2016 году мир впервые увидел, как дополненная реальность может буквально «двигать» нашу реальность, дополняя ее маленькими монстрами, появляющимися и исчезающими с экранов наших смартфонов.

Смешанная реальность. Объединенная реальность? Смешанные чувства.

С нечеткими отличиями от своих двоюродных братьев VR и AR, смешанная реальность с трудом определяет свое будущее.

Как и в VR, в MR для запуска опыта используется гарнитура. Но устройства смешанной реальности отличаются от типичного оборудования VR, потому что они используют полупрозрачные очки, такие как Google Glass, которые позволяют нам оставаться в реальном мире — виртуальная реальность смешивается с реальной реальностью.

Как и AR, MR накладывает цифровой контент и симуляции поверх того, что мы обычно видим. Но опыт смешанной реальности позволяет вам физически взаимодействовать с симуляцией так, как AR… пока не может. И вместо того, чтобы полагаться только на экран телефона, вы можете использовать свое тело и пульты дистанционного управления для более интерактивного взаимодействия с окружающей средой.

Ландшафт VR, AR и MR в цифрах

Чтобы действительно набрать обороты и добиться более широкого распространения, финансовая привлекательность будет ключевым показателем как технологической, так и экспериментальной привлекательности.

При поддержке крупных инвесторов, таких как Google Ventures от Alphabet, Alibaba и Andreessen Horowitz, Magic Leap лидирует в инвестиционной игре MR с почти 2 миллиардами долларов венчурного финансирования на сегодняшний день.

Давайте рассмотрим основные инвестиции в ключевые компании VR/AR на рынке сегодня.

Соображения по проектированию для новых реалий

Проектирование для VR , AR и MR сродни созданию новых реальностей. Эта новая парадигма иммерсивного и многомерного создания контента требует новых правил и соображений. Дизайн дополненной, виртуальной и смешанной реальности использует существующие навыки, начиная от визуального дизайна (3D, пользовательский интерфейс) и заканчивая дизайном опыта (UX, продукт) и разработкой, среди прочего.

От понимания анатомии человека, эмпатии, звука до визуального дизайна и не только — когда дело доходит до проектирования за пределами стандартного прямоугольного 2D-холста, креативщики получают совершенно новое игровое поле.

3D и визуальный дизайн

Дизайнеры виртуальной реальности должны использовать совершенно другой подход и набор инструментов при создании иммерсивного опыта и интерфейсов. Точнее, они должны думать за пределами 2D-экрана или прямоугольников и вместо этого думать о своем творческом холсте как о безграничном пространстве на 360°.

Все становится трехмерным, и, следовательно, дизайнерам виртуальной реальности лучше сотрудничать с экспертами по 3D и/или приобретать базовые знания о 3D-графике с помощью WebGL и других инструментов с открытым исходным кодом.

Популярное программное обеспечение для создания 3D включает:

• Unity3D (дизайн + игровой движок)
• Блоки виртуальной реальности Google
• Blender 3D (бесплатно, с открытым исходным кодом)

Понимание масштаба и позиционирования

Соображения масштаба и позиционирования для дизайна виртуальной и дополненной реальности связаны и влияют друг на друга. С одной стороны, удаленность элемента от зрителя влияет на его читаемость и на то, насколько легко с ним можно взаимодействовать. С другой стороны, масштаб объекта в смоделированной реальности отражает, насколько большим/маленьким или далеким/близким был бы тот же самый объект в реальном мире.

Отслеживание и движение

Концепция отслеживания движения связана с используемым аппаратным и программным обеспечением виртуальной, дополненной и смешанной реальности. Например, в то время как Google Cardboard в основном позволяет базовое отслеживание движения с помощью акселерометра телефона, более поздняя гарнитура Google Daydream VR поставляется с пультом дистанционного управления, который позволяет вам указывать на предметы и управлять взаимодействиями в виртуальном пространстве.

На верхнем уровне спектра иммерсивные системы, такие как Oculus Rift и HTC Vive, позволяют использовать более чувствительные системы отслеживания движения и интерактивные контроллеры.

Разработка трекеров движения и контроллеров требует хорошего понимания естественных человеческих жестов и физических возможностей. Правильное выполнение этого условия помогает усилить эффект погружения.

Беря пример с более традиционных дисциплин

Нет необходимости заново изобретать велосипед, когда дело доходит до дизайна для AR/VR/MR. Почти так же, как когда мы перешли от печати к сети, мы можем взять много подсказок и применить многие принципы из более традиционных форм искусства.

Например, теория цвета, правила композиции и лучшие практики освещения по-прежнему применимы к новым медиа. Поскольку это по-прежнему реальный мир, который мы пытаемся воспроизвести и испытать в другом контексте, используя преимущества новых технологий, основные принципы визуального искусства можно использовать при проектировании для новых реальностей, которые мы создаем.

Принципы анимации и перехода

То же самое касается принципов анимации: эффект перехода и движение в виртуальной реальности становятся более правдоподобными, когда применяются 12 принципов анимации (никем иным, как Диснеем). Кратко рассмотрим их:

1. Сжатие и растяжение: расширение и сжатие объекта для имитации веса и объема в движении.
2. Ожидание: индикатор того, что должно произойти важное действие.
3. Постановка: наличие четкого намерения в каждом состоянии/позиции объекта.
4. Прямо вперед и от позы к позе: сначала определите начальное и конечное состояния, а затем заполните пробел.
5. Следующее сквозное и перекрывающееся действие: когда несколько движущихся частей останавливаются, они не останавливаются все сразу.
6. Slow-In и Slow-Out: также известный как эффект смягчения - движение медленное, затем быстрое, затем медленное.
7. Дуга: Проще говоря, добавляет немного извилистости в большинство движений.
8. Вторичное действие: добавление к основному действию, чтобы усилить или дополнить его.
9. Синхронизация: использование скорости или задержки для имитации физики или временной шкалы.
10. Преувеличение: подчеркивание определенных движений, чтобы что-то подчеркнуть.
11. Твердые чертежи: придание вещам более трехмерного вида.
12. Привлекательность: этот принцип требует интересных и привлекательных характеристик.

Инструменты и ресурсы

В интересах демократизации этих новых технологий и стимулирования духа совместного творчества многие компании делятся своими концепциями проектирования и разработки со всем миром. Вот несколько ключевых ресурсов, которые помогут вам начать работу с виртуальной, дополненной и смешанной реальностью:

• Facebook Design — VR-ресурсы
• Apple — Аркит
• Microsoft HoloLens Mixed Reality — комплекты MR

Будущее дополненной, виртуальной и смешанной реальности

Дополненная реальность продемонстрировала более широкое распространение, если принять во внимание всемирный успех хита Pokemon Go. Сегодня все, что нужно для знакомства с дополненной реальностью, — это смартфон с новейшей ОС, приличной камерой и приложением дополненной реальности — вход бесплатный, и у нас есть весь мир как холст.

Недавний выход Apple на рынок дополненной реальности обещает еще больше усилить тенденции дополненной реальности. Тим Кук озвучил свою позицию по этому поводу: «Очевидно, что для виртуальной реальности есть несколько крутых нишевых вещей, но, на мой взгляд, это не глубоко. AR — это глубоко».

Несмотря на более долгую историю, чем AR или MR, виртуальная реальность, похоже, имеет проблемы с аудиторией, в основном из-за высокой стоимости принятия приличной гарнитуры VR, физического дискомфорта при длительном использовании и отсутствия конкретных вариантов использования технологии.

«Как работает виртуальная реальность?» — вопрос, который мы часто слышим в Интернете, а также на мероприятиях виртуальной реальности. Тем не менее, многие отрасли могут использовать эту технологию для создания новых возможностей. Например, виртуальная реальность в автомобильной промышленности открывает некоторые захватывающие возможности.

Наконец, смешанная реальность — это идеальное сочетание реальной, дополненной и виртуальной реальности. «Приложения безграничны, — говорит генеральный директор Avegant Йорг Тьюис. Он размышляет о том, как дизайнеры и инженеры могут напрямую манипулировать 3D-моделями руками. «Смешанная реальность позволяет людям напрямую взаимодействовать со своими идеями, а не на экранах или клавиатурах», — добавляет он.

Мир находится на пороге расширения своих границ за счет иммерсивного 3D-контента и цифрового царства, как никогда раньше. Это уникальная возможность для дизайнеров, инженеров и компаний присоединиться к революции.

Поделитесь с нами вашими мыслями! Пожалуйста, оставьте свои мысли, комментарии и отзывы ниже.

• • •

Дальнейшее чтение в блоге Toptal Design:

• Принципы дизайна и их важность
• Лучшие портфолио дизайнеров UX — вдохновляющие тематические исследования и примеры
• Изучение гештальт-принципов дизайна
• Adobe XD против Sketch — какой UX-инструмент вам подходит?
• 10 UX-результатов, которые используют лучшие дизайнеры