Новые реальности: VR, AR, MR и будущее дизайна
Опубликовано: 2022-03-11Достижения в области искусственного интеллекта, дополненной и виртуальной реальности открывают новые возможности для дизайнеров.
Цифровой и технологический ландшафт постоянно меняется и во многих отношениях ускоряется. Дизайнеры, которым поручено придумывать инновационные идеи, должны следить за тем, что в тренде и где есть творческие возможности. Признание изменений, происходящих в отрасли, поможет дизайнерам лучше проектировать и принимать более обоснованные творческие решения.
В жизненном цикле внедрения технологий «Новаторы» — самая маленькая группа, но самая успешная. За ними следуют «Ранние последователи», затем «Раннее большинство», а затем «Большинство» или все остальные. Как новаторы, великие дизайнеры обычно попадают в категорию «Ранних последователей» — людей, которые рискуют на неизведанной территории. Великий дизайнер также является провидцем, способным мыслить стратегически и анализировать тенденции, чтобы разрабатывать лучшие продукты или услуги.
Давайте посмотрим на некоторые творческие возможности и новые технологии, а также на то, почему, чтобы спроектировать будущее, дизайнеры должны мыслить не только на экране, но и в новых реалиях.
Новый технологический ландшафт: искусственный интеллект с помощью человека, дополненная реальность, виртуальная реальность и смешанная реальность
Что такое искусственный интеллект?
Искусственный интеллект (ИИ) дает компьютеру или устройству, управляемому компьютером, возможность выполнять интеллектуальные задачи, такие как рассуждения или обучение на основе опыта. Когнитивные вычисления — это термин, который использовался десять лет назад, когда все началось, — идея о том, что, столкнувшись с когнитивной перегрузкой, нам понадобится помощь в принятии решений. Ссылаясь на очевидные преимущества современного искусственного интеллекта, мы уже полагаемся на цифровых помощников ИИ, таких как Siri и Alexa (среди прочих), которые помогают нам принимать простые решения.
Разработчики продуктов будут иметь растущий объем данных для обоснования своих дизайнерских решений. Эксперты в области искусственного интеллекта используют технологию искусственного интеллекта для создания динамических пользовательских интерфейсов, персонализируя каждый пользовательский опыт, анализируя каждое взаимодействие в приложении или на веб-сайте. В будущем компьютеры станут еще лучше принимать решения на основе данных, чтобы улучшить автоматизированные задачи и наши процессы принятия решений человеком.
Поскольку Watson от IBM является лидером для таких компаний, как General Motors, Conde Nast, GSK, Citigroup и Under Armour, будущее ИИ будет связано с эффективным принятием сложных и важных решений.
Как творческие профессионалы, мы можем использовать такие идеи в различных отраслевых вертикалях. Например, компания The North Face использовала Watson для создания интуитивно понятного интерфейса электронной коммерции, помогающего клиентам принимать оптимальные решения о покупке.
Виртуальные помощники — технология искусственного интеллекта в действии
Виртуальные помощники, такие как Siri, Alexa, Cortana, Watson и другие, полагаются на искусственный интеллект, чтобы помочь сделать все, от поиска ресторана до отправки электронного письма или планирования встречи. Многие из них управляются голосом, что является более естественным интерфейсом для человека, чем традиционный визуальный пользовательский интерфейс с окнами и кнопками. Эти технологии, вероятно, изменят нынешнюю структуру поисковых систем.
Разговор — естественный и простой способ взаимодействия для людей. Поэтому неудивительно, что виртуальные помощники с голосовым управлением получили широкое распространение в наших домах. Пользователи могут просто разговаривать с системой, а не «управлять» ею руками или жестами. Например, с iPhone с помощью всего одного быстрого запроса Siri позволяет нам перевести деньги через PayPal другому человеку.
Поскольку искусственный интеллект интегрирован в приложения, он поможет интеллектуальным виртуальным помощникам (IVA) становиться все более и более интеллектуальными. Тем не менее, независимо от того, насколько умными становятся IVA, пользователи с плохим зрением или другими физическими недостатками, использующие программы чтения с экрана и другие вспомогательные технологии, все равно могут столкнуться с серьезными проблемами. UX-дизайнеры, работающие с исследователями пользовательского опыта, должны будут устранить такие критические пробелы в доступности.
Как машинный интеллект управляет беспилотным миром
Транспортные системы будущего обеспечат беспрепятственный и эффективный транспортный поток по нашим улицам. Инновации в дизайне, такие как модульные съемные автобусы, летающие такси и сети подвесных магнитных капсул, воплотят в реальность мечту о динамичном мире без водителя.
То, что еще несколько лет назад было фантастикой, сегодня становится реальностью. Moby-Mart от Wheelys — это беспилотный магазин с голографическим продавцом, который, вероятно, изменит мир дизайна электронной коммерции.
Следующему поколению дизайнеров электронной коммерции потребуется мультиспециализация как в физическом, так и в цифровом пространстве. Будущие дизайнеры должны будут разработать опыт, в котором многие знакомые человеческие элементы удалены или удалены.
Amazon Go, магазин без кассы, — отличный пример того, как выглядит дизайн будущего. Они разработали процесс совершения покупок, при котором каждый может зайти в магазин, просмотреть, сделать покупки и уйти со своими товарами в руках без каких-либо проблем. Никаких очередей на кассе.
Интеллект, встроенный в каждое автономное транспортное средство, позволяет ему принимать все правильные решения за нас — от наиболее оптимального маршрута до соображений безопасности человека. Создание таких сложных дизайн-систем — это создание шаблона продукта, который положит начало новой волне продуктов, разработанных вне транспортной вертикали.
Дизайнерам автомобильных интерьеров станет необходимо создавать проекты, делающие внутреннее пространство комфортным и адаптивным. Интерфейсы должны быть интуитивно понятными и обнадеживающими, чтобы вызывать доверие со стороны пассажира, уделяя особое внимание человеческому взаимодействию между людьми, разделяющими поездку.
Дополненная реальность
Дополненная реальность (AR) действует как виртуальный слой поверх мира перед вами и находится в новой эре открытий и инноваций. В то время как ранние приложения дополненной реальности зависели от смартфона или планшета, вскоре они перерастут в носимые устройства, такие как умные очки, требующие другого типа UX и процесса проектирования — мышления за пределами меньшего экрана.
В то время как споры о дополненной реальности, виртуальной реальности или MR продолжаются, дополненная реальность — это уникальная возможность для дизайнеров создавать приложения, используя распознавание изображений, объектов и цветов. Точно так же, как ИИ использует данные для принятия решений, AR использует распознавание ключевых «якорных» объектов и точек в заданном пространстве.
Отличным примером идеального сочетания искусственного интеллекта и дополненной реальности является Animoji от Apple, анимированные смайлики для iPhone X. Согласно Apple, Animoji — это «настраиваемые анимированные сообщения, которые используют ваш голос и отражают выражение вашего лица». Рендеринг и анимация работают в режиме реального времени благодаря функциям сканирования iPhone X ace.
Мета — создание иммерсивного опыта дополненной реальности
В следующие пять лет дополненная реальность будет лучше интегрирована в нашу повседневную жизнь, объединяя наш физический и цифровой мир с новыми носимыми продуктами. Такой продукт, как мета-очки, которые накладывают дополненную реальность поверх реальности пользователя, вероятно, будет популярен в качестве средства для разработчиков игр.
Очки Meta, основанные на голографической технологии, могут распознавать жесты пользователей, позволяя им манипулировать трехмерными проекциями объектов. С таким количеством устройств, основанных на жестах, стандартизация и культурные различия могут стать главной проблемой для дизайнеров, работающих в этой области.
«Будущее продуктивности — в пространстве», — сказала Meta, представляя свое рабочее пространство AR. В будущем носимое оборудование позволит сотрудникам работать без помощи рук. Устройства будущего могут работать с голосовыми командами или жестами. Растущий успех дополненной реальности может предсказать конец физических контроллеров, таких как курсор мыши или клавиатура.
В дополненной реальности естественные жесты могут быть ключевыми факторами опыта. Например, имитация нажатия кнопки пальцами вызовет взаимодействие с виртуальной ссылкой или кнопкой. Google запустил проект Soli, который пошел еще дальше — они создали сенсорную технологию, ориентированную исключительно на бесконтактное взаимодействие. Чтобы оставаться удобным для пользователя, такой опыт требует минимального интерфейса, практически без визуальной перегрузки.
Некоторые известные ресурсы по дизайну и разработке дополненной реальности :
- Facebook Frame и AR Studio
- Apple Аркит
AR-улучшенная жизнь
В рамках своей концептуальной кухни ИКЕА разрабатывает умный стол, предлагающий рецепты на основе размещенных на нем ингредиентов. Это отличный пример того, как технология дополненной реальности работает в реальном мире. Интерактивный стол оснащен проектором с камерой, который показывает рецепты на своей поверхности и распознает ингредиенты, давая вам представление о том, что приготовить из того, что у вас есть под рукой.
Такие иммерсивные возможности составляют прямую конкуренцию мобильным приложениям, которые скоро будут казаться устаревшими из-за их более ограниченных возможностей. Разработчики мобильных приложений скоро будут создавать дополненные приложения, которые интегрируются с физическими пространствами, чтобы предоставить новый и захватывающий способ взаимодействия с нашей физической средой.
Будущее работы с дополненной реальностью
Дополненную реальность также можно использовать для передачи знаний, например, для обучения в промышленных условиях. Вместо того, чтобы объяснять, представьте, что вы показываете работнику, как выполнять конкретную задачу, с помощью контекстного видео. Это открывает двери для дизайнеров в области электронного обучения для создания интерфейсов AR следующего поколения.
Boeing использует очки дополненной реальности на базе Skylight, чтобы направлять техников, когда они ежегодно подключают сотни самолетов. Носимый дисплей помогает техническим специалистам идентифицировать и точно соединять сотни проводов, используя только зрение и голос для управления приложением. В результате компания Boeing сократила время производства на 25 % и снизила количество ошибок почти до нуля .
Простая система голосового управления снижает затраты на взаимодействие для выполнения сложных задач при работе с приложениями AR. Минимизация элементов интерфейса снижает когнитивную нагрузку пользователя, сводит к минимуму прерывания и уменьшает количество отвлекающих факторов.
Технология дополненной реальности может изменить способ обучения и ознакомления клиентов и сотрудников с новой информацией. Представьте себе учебные модули, например, как заменить масло в автомобиле, или другие обучающие видеоролики «Как это сделать», используя AR для наложения указаний поверх реальной ситуации.
С точки зрения удобства использования дизайнеры должны учитывать не только то, что система представляет пользователю визуально, но и то, как мозг интерпретирует сложную информацию, перекрывающую реальную реальность.
Виртуальная реальность и смешанная реальность
Виртуальная реальность (VR) полностью погружает вас в виртуальный мир, а смешанная реальность (MR), иногда называемая гибридной реальностью, представляет собой слияние реального и виртуального миров. VR можно использовать для виртуальных офисов, продуктов, мероприятий, таких как Teen Choice Awards 2017, и многого другого. С помощью виртуальной реальности дизайнеры и их клиенты смогут просматривать проекты, масштабированные до реальных условий и глубины в натуральную величину, еще до того, как они приступят к этапу производства.
В начале 2017 года Forbes заметил, что «ажиотаж вокруг виртуальной реальности сходит на нет». Заметные ограничения, с которыми сталкивается VR, — это высокая цена на гарнитуры, дискомфорт при длительном использовании, плохое визуальное качество и многое другое. В результате наблюдается медленное внедрение технологии виртуальной реальности на массовом рынке по сравнению с AR, которая «вероятно, будет лучше в краткосрочной перспективе».
Приложения виртуальной реальности
Новизна контента виртуальной реальности предлагает уникальную возможность привлечь большую аудиторию, о чем свидетельствует документальный фильм о виртуальной реальности от National Geographic: «Защитники», «Прогулка в шкуре рейнджера». Он получил больше внимания по сравнению с другими документальными фильмами о природе.
Помимо переноса зрителей в новые места, следующая возможность для дизайнеров — помочь им ощутить жизнь другим человеком. Предлагая вид от первого лица, можно создавать уникальные и эффективные кампании, такие как «Прогулка по слабоумию», основанные на сопереживании.
В конечном итоге для дизайнеров виртуальной реальности появится новый набор шаблонов проектирования, но подход плоского дизайна вряд ли будет успешным. В виртуальной реальности наш мозг использует пространственно-временную ориентацию и способность решать проблемы; поэтому важно использовать текстуры, освещение и более мелкие детали для более правдоподобного и захватывающего опыта.
Виртуальная реальность дает пользователям возможность приблизиться к виртуальным объектам, а также отойти от них. Поскольку глаз очень хорошо улавливает информацию о глубине, визуализация объектов дизайнерами должна быть реалистичной и детальной. Звук и музыка — другие важные аспекты для дизайнеров виртуальной реальности.
MR — смешивание реальной и виртуальной реальности
Смешанная реальность Microsoft HoloLens сочетает трехмерное голографическое содержимое с физическим миром, придавая голограммам реальный контекст и масштаб. Технология MR смешивает и смешивает физическое окружение человека с объектами из физического и цифрового мира вместе. Используя эту технологию MR, мы можем взаимодействовать как с цифровым контентом, так и с окружающим миром, а также взаимодействовать с трехмерными голографическими проекциями.
Приложения MR и VR дают дизайнерам новую творческую свободу. Мы можем создавать возможности, в которых пользователи могут виртуально взаимодействовать с продуктами и посещать отдаленные места, исторические события, концерты и многое другое. В виртуальной или смешанной реальности, которую мы создаем, мы можем изменить законы физики с бесконечными возможностями и познать мир, как никогда раньше.
С точки зрения дизайна и удобства использования ключевой принцип, о котором следует помнить, заключается в том, чтобы пользователи чувствовали себя непринужденно и избегали неприятных ощущений, удерживая их в реальном мире. С этой целью мы можем использовать звук, движение и хорошее чувство масштаба — виртуальные среды и взаимодействия, которые мы создаем, должны казаться естественными и эргономичными, а не обязательно реалистичными.
При разработке визуального интерфейса, который использует гарнитуру и требует тщательного изучения объекта, такого как орган виртуальной реальности, мы должны помнить, что люди гораздо более восприимчивы к укачиванию при ношении гарнитуры виртуальной реальности, чем при взгляде на экран компьютера.
Опыт бренда в виртуальной реальности
Виртуальная реальность дает компаниям возможность предоставить клиентам более захватывающий опыт работы с их брендом. Это новый рубеж для фирменного контента и повествования. Audi использует виртуальную реальность, чтобы они могли испытать новую модель своего автомобиля еще до того, как прикоснутся к ней физически. Снимая весь интерьер автомобиля с помощью специальной 3D-камеры, они позволяют клиентам увидеть каждую деталь до выхода на рынок.
Эффективное использование дизайна и маркетинга виртуальной реальности позволяет брендам использовать следующие компоненты дизайна:
- Продуманная креативная стратегия
- Применение лучших практик юзабилити
- Сильное повествование и повествование
- Эргономичное представление информации
- Привлекательный визуальный дизайн и симуляции
Определение юзабилити будет значительно расширено для дизайнеров и охватит все аспекты, включая уровень комфорта окружающей среды. Дизайнерам необходимо разработать понимание уровня потенциального дискомфорта в определенных ситуациях, таких как высота, небольшие пространства (клаустрофобия), большие пространства (агорафобия), масштаб, скорость, сталкивающиеся объекты, усталость пользователя, эргономика и многое другое.
Чтобы рассказать о надежности и безопасности своих автомобилей в сложных ситуациях, Toyota погружает клиентов в повествовательный опыт виртуальной реальности. Они могут испытать бренд, а также уникальный персонализированный контент в различных средах. Это дает компаниям возможность показать клиентам ту сторону бренда, с которой они раньше не сталкивались.
Как дизайнеры, глубоко вовлеченные в создание такого опыта, мы должны ставить под сомнение полезность наших творческих идей и решений для брендов и убедиться, что мы действительно решаем конкретные бизнес-задачи. Мы должны спросить себя, соответствует ли опыт виртуальной реальности базовому ценностному предложению компании.
VR-приложения на благое дело
Чтобы вызвать больше сочувствия и контекстуализировать жизнь тех, кто нуждается в донорах, некоторые некоммерческие организации используют виртуальную реальность, чтобы перенести посетителей в жизнь в лагерях беженцев. Это создает более активное участие и большую готовность поддерживать их инициативы. Подобная идея может привести к тому, что работа по дизайну виртуальной реальности, выполняемая крупными брендами, станет некоммерческой.
В качестве другого примера Марк Цукерберг показал миру VR-тур по пострадавшему от урагана Пуэрто-Рико, чтобы привлечь внимание к ситуации. Идеи и варианты использования «практически безграничны» — каламбур.
Используя гарнитуру виртуальной реальности и пульт дистанционного управления, пользователи могут исследовать окружающую среду, двигая головой, и взаимодействовать с объектами руками. Системы виртуальной реальности высокого класса, такие как HTC Vive или Oculus Rift, используют датчики для определения местоположения пользователей в физическом пространстве, и поэтому дизайнеры могут использовать все тело пользователя для создания более полных и улучшенных сенсорных ощущений в реальном мире.
Будущее — это сбалансированное сочетание AI, AR, VR и MR
Недавние разработки в области искусственного интеллекта, особенно глубокого обучения, которые способствуют распознаванию изображений и речи в реальном времени, помогли объединить виртуальную реальность и искусственный интеллект для новых приложений. Будущее дизайна продукта должно будет учитывать сочетание всех трех этих технологий. Яркими примерами являются приложения Eolian, которые используют технологии искусственного интеллекта для снижения частоты человеческих ошибок за счет моделирования опасных задач в AR и VR.
Virtualitics обеспечивает визуализацию данных в средах виртуальной и дополненной реальности с помощью машинного обучения и искусственного интеллекта. Эти технологии представляют собой инструменты, которые помогают нам рассказывать истории и делиться информацией, как никогда раньше. Их можно использовать как невероятно мощные инструменты эмоционального взаимодействия, позволяющие нам развивать эмпатию и общаться с аудиторией — помимо того, что раньше предлагали телевидение, компьютеры или Интернет.
Это захватывающее время для работы с этими технологиями; большинство задач новые, а старые рекомендации часто неприменимы. Учреждения вроде Массачусетского технологического института лидируют в проведении радикальных экспериментов с новыми идеями. Например, MIT Game Lab создает Play Labs для ускорения стартапов в AR, VR и AI. Это, несомненно, вдохновит многих новаторов.
Будущее можно назвать гиперреальностью — сочетанием AI, AR, VR и MR. Одно интересное новшество, EscapeLabs, использует дополненную реальность и смешанную реальность (AR/MR) для создания голографических впечатлений для квестов, командообразующих упражнений и головоломок в масштабе комнаты. Вполне вероятно, что необходимость в неуклюжих гарнитурах и необходимости подключения к стационарному компьютеру отпадет. Переход между виртуальным и реальным миром станет проще и быстрее — гипериммерсивный.
Интернет существовал много лет, прежде чем мы обнаружили, что обмен информацией в социальных сетях является ключом к вовлечению. Аналогичным образом ожидается, что комбинация этих технологий будет иметь аналогичный рост, а возможности трудоустройства для дизайнеров резко возрастут в ближайшие несколько лет.
Новые технологии сопряжены со многими неизвестными, что создает потребность в установлении лучших практик, стандартов и шаблонов проектирования. Предполагается, что именно поэтому дизайнеры UX будут иметь долгосрочную гарантию занятости в ближайшие годы. Всегда будет потребность в дизайнерах, использующих ориентированные на пользователя методы проектирования, чтобы придать продуктам теплоту. Самое приятное в этих технологиях то, что мы все еще находимся на начальных этапах, и нашему творческому сообществу еще многое предстоит выяснить. Впереди захватывающие времена!
• • •
Дальнейшее чтение в блоге Toptal Design:
- Лучшие практики дизайна пользовательского интерфейса и распространенные ошибки
- Пустые состояния — самый недооцененный аспект UX
- Простота — это ключ — изучение минимального веб-дизайна
- Эвристические принципы для мобильных интерфейсов
- Дизайн для удобочитаемости — руководство по веб-типографике