Обзор Microsoft HoloLens — преодоление разрыва между AR и VR

Microsoft имеет давнюю традицию приправлять относительно скучные анонсы продуктов убедительными техническими демонстрациями, и анонс Windows 10 не стал исключением. Софтверный гигант воспользовался возможностью, чтобы создать много шума о HoloLens, футуристической гарнитуре, которая предлагает заглянуть в будущее дополненной реальности (AR). Однако Microsoft также имеет традицию впечатляющих аппаратных провалов, пик которых пришелся на режим Балмера. Помните телефон Кин? И я нет.

Внедрение HoloLens, вероятно, не будет таким провалом по ряду причин. Во-первых, HoloLens еще предстоит пройти долгий путь, прежде чем он станет коммерчески жизнеспособным устройством — это может занять от нескольких кварталов до пары лет. Во-вторых, концепция, лежащая в основе этого, является разумной и основана на нескольких многообещающих новых отраслевых тенденциях, таких как носимые технологии и гарнитуры виртуальной реальности (VR). HoloLens пытается немного отличаться, объединяя множество функций в одном устройстве, но в этом обзоре Microsoft HoloLens мы рассмотрим, что уже есть, а что находится в разработке.

Поскольку это технический блог, предназначенный для профессионалов виртуальной реальности и других инженеров, я не буду тратить много времени на ответ на вопрос «Что такое HoloLens?» и объясняя разницу между AR и VR. Технология дополненной реальности имеет ряд потенциальных применений в различных отраслях, но ограниченное применение в сфере развлечений. Виртуальная реальность больше ориентирована на развлечения, хотя у нее есть и профессиональные приложения.

Обе технологии по-прежнему имеют множество ограничений, и необходимо преодолеть множество технических проблем, чтобы завоевать популярность на массовом рынке. Это постепенный процесс, который займет годы, а не месяцы. Технология, необходимая для создания таких продуктов без больших затрат, просто еще не готова, но она медленно развивается.

Давайте посмотрим, что там есть и чего не хватает.

Аппаратные ограничения — Google Glass, Oculus Rift и Microsoft HoloLens

Google Glass были анонсированы в начале 2012 года, а год спустя их начали продавать по цене 1500 долларов. Высокая цена означала, что он был зарезервирован для очень маленькой ниши — первые последователи, которых пиар- и маркетинговая машина Google называла «исследователями». Устройство предлагало ограниченную функциональность дополненной реальности и содержало небольшой призменный проектор с разрешением 640x360 пикселей, работающий на устаревшем процессоре.

Хотя на какое-то время ему удалось очаровать публику, Google Glass вряд ли можно назвать успехом. Разработчики приложений, которые стремились запрыгнуть на подножку, начали терять интерес, как и «исследователи», которые, казалось, преодолели эту причуду за считанные месяцы. Последние слухи указывают на новую версию Google Glass с кремнием Intel внутри, поэтому, возможно, еще слишком рано для некролога. В любом случае, Google Glass не имели большого успеха, как ни посмотри.

Oculus Rift, пожалуй, самая обсуждаемая система виртуальной реальности на данный момент, но, в отличие от Google Glass, она еще не запущена. Oculus VR работала над устройством в течение многих лет, и в процессе компания прошла через два поколения комплектов разработки. Ожидается, что потребительская версия будет запущена где-то в 2015 году с измененными спецификациями. В марте 2014 года компания Facebook купила Oculus VR за более чем 2 миллиарда долларов наличными и акциями Facebook.

Gear VR от Samsung предлагает другой подход, поскольку он использует фаблет Galaxy Note 4 вместо встроенного экрана, но опирается на некоторые технологии, разработанные Oculus. Я нахожу модульную концепцию интересной, поскольку аналогичный подход можно использовать с рядом мобильных устройств от разных поставщиков, что позволит пользователям эффективно обновлять аппаратное обеспечение каждый раз, когда они приобретают новый телефон. Платформа Qualcomm Vuforia может похвастаться некоторыми многообещающими функциями для мобильных устройств и потенциальных приложений AR/VR.

Итак, чего не хватает? Простым ответом может быть вычислительная мощность, но все немного сложнее.

Проблема с обеими концепциями заключается в том, что они все еще опережают свое время, а технологии все еще должны наверстать упущенное. HoloLens от Microsoft неизбежно будет страдать от тех же самых проблем с прорезыванием зубов, но концепция Microsoft несколько отличается, и поэтому есть шанс преодолеть по крайней мере некоторые из этих проблем.

Google Glass были разработаны как легкие носимые устройства, что привело к ряду компромиссов. Устройство имело один дисплей на толстой призме перед правым глазом пользователя. Разрешение было очень ограниченным, учитывая поле зрения (FOV). Например, дисплеи умных часов, как правило, имеют аналогичное разрешение по вертикали для устройства, занимающего всего пару градусов от поля зрения пользователя. Google Glass были основаны на устаревшей системе на кристалле (SoC) и имели ограниченное время автономной работы.

Проектирование мобильных устройств — дело непростое, и оно всегда связано с рядом компромиссов. Дисплеи с более высоким разрешением требуют большей мощности графического процессора, что требует использования более крупных SoC с более мощными графическими процессорами, работающими с более высокой нагрузкой, что требует большей батареи и так далее. Это прекрасный баланс, и гарнитура AR просто слишком мала, чтобы вместить большую батарею, подобную той, что используется в планшетах с высоким разрешением.

На первый взгляд кажется, что Oculus Rift не страдает от подобных недостатков на аппаратном фронте, поскольку у него нет компромиссов в угоду времени автономной работы и портативности. Он не зависит от встроенной SoC, и дисплей с разрешением 1080p кажется желательным; но на самом деле этого недостаточно для фотореализма. У устройства очень большой FOV, а плотность пикселей по-прежнему недостаточна.

Чтобы решить эту проблему, устройства виртуальной реальности должны будут использовать дисплеи с более высоким разрешением 4K/UHD или даже дисплеи 8K в какой-то момент в будущем. Технологии почти нет, но она не дешевая и совсем не портативная.

Если вы хотите запускать новейшие игры ААА на дисплее 4K с максимально возможными настройками детализации, вам понадобятся две дискретные видеокарты высокого класса. Например, карты Nvidia и AMD на базе флагманских графических процессоров поколений Maxwell и Hawaii. Чтобы устранить разрывы кадров (используя технологии, подобные G-Sync от Nvidia или FreeSync от AMD), вам нужно немного больше энергии, а для правильного 3D для обоих глаз вам потребуется еще больше мощности графического процессора.

Суть такова: для питания устройства 4K VR с использованием доступных в настоящее время технологий вам потребуется как минимум два графических процессора с 12–14 млрд транзисторов в 28-нм техпроцессе, потребляющих от 350 до 500 Вт мощности, не считая ЦП и остальной системы. . Это консервативная оценка, основанная на доступных в настоящее время графических процессорах и процессорах, и давайте даже не будем обсуждать идею включения двух экранов 4K, по одному на каждый глаз.

Последняя мобильная SoC от Nvidia, 64-разрядная Tegra K1, используемая в Google Nexus 9, имеет 192 ядра CUDA на основе архитектуры Kepler, а не более эффективной архитектуры Maxwell. Нынешние флагманские дискретные видеокарты компании оснащены 2048 ядрами Maxwell CUDA, работающими на более высоких тактовых частотах, чем ядра Kepler в мобильных SoC Tegra.

Портативные устройства виртуальной реальности с фотореалистичной графикой явно недоступны в ближайшие годы, и даже проводным устройствам, таким как Oculus Rift, предстоит долгий путь. Общая стоимость платформы является еще одной проблемой. Игровые ПК, способные выдавать воспроизводимую частоту кадров в разрешении 1080p, относительно дешевы, поскольку обычные графические процессоры достаточно быстры для этой работы. Но при разрешении 2160p вам потребуется в четыре раза больше мощности графического процессора, подкрепленного большим объемом памяти и более быстрым процессором.

Есть еще один способ решить эту проблему, и я расскажу о нем позже.

Так что же Microsoft сделала правильно?

Помните сделку Facebook с Oculus Rift, о которой я упоминал ранее? Всего через несколько дней после того, как это было объявлено, выяснилось, что Microsoft купила активы интеллектуальной собственности (ИС), связанные с дополненной реальностью и носимыми компьютерами, у Osterhout Design Group (ODG). Некоторые из патентов касались «прозрачных очков для зрения вблизи глаз» с частично пропускающим оптическим элементом.

Другими словами, Microsoft купила интеллектуальную собственность, необходимую для создания HoloLens; и, как сообщается, сделка охватила десятки патентов ODG, в том числе еще несколько десятков патентных заявок, находящихся в стадии рассмотрения. Между тем, говорят, что у Oculus VR есть только один патент, который расплывчато описывает «гарнитуру виртуальной реальности».

Похоже, что Microsoft пытается получить лучшее из обоих миров — широкий угол обзора, обычно ассоциируемый с устройствами виртуальной реальности, и прозрачная поверхность дисплея, подходящая для приложений дополненной реальности. Такой подход должен позволить HoloLens использовать гораздо меньшую вычислительную мощность, чем устройства виртуальной реальности, и в то же время предлагать больше функциональных возможностей благодаря широкому полю зрения. Вместо того, чтобы пытаться отображать фотореалистичное содержимое, HoloLens может обойтись немного более низким разрешением и качеством изображения из-за ограниченной непрозрачности отображаемого содержимого. Нет необходимости создавать иллюзию реальности, поэтому требуется гораздо меньше аппаратных накладных расходов. Многие готовые технологии могут позволить HoloLens уменьшить или устранить алиасинг и создавать красивые композиты, поскольку фон уже есть.

Этот факт ограничивает привлекательность HoloLens в нише развлечений, в отличие от настоящих гарнитур виртуальной реальности; но это открывает ряд возможностей в других отраслях, от машиностроения и здравоохранения до архитектуры и обороны. HoloLens можно использовать для помощи медицинским работникам, инженерам, операторам промышленного оборудования, солдатам и правоохранительным органам.

Тем не менее, HoloLens по-прежнему находит применение в потребительской сфере. Фил Спенсер из Microsoft сказал, что HoloLens должен быть успешным самостоятельным продуктом, добавив, что компания уже ищет способы его использования в унисон с ПК и консолями Xbox One. Устройство может служить в качестве хедз-ап-дисплея (HUD) для геймеров или даже для любителей фитнеса в спортзалах.

Аппаратная загадка HoloLens

Microsoft не раскрыла точных спецификаций оборудования, поэтому мы до сих пор не знаем, чего ожидать. Нет ни слова о разрешении экрана, GFLOP графического процессора, подключении или времени автономной работы. Это оставляет много места для спекуляций, которые техническая пресса с удовольствием наполняет колонками и кликбейтом, но пока ничего официального.

Как я уже сказал, HoloLens не должен требовать такой же мощности графического процессора, как Oculus Rift и аналогичные продукты виртуальной реальности. Однако это не означает, что Microsoft может обойтись дешевыми SoC, подобными тем, которые обычно используются в мобильных продуктах. В настоящее время Microsoft использует ряд чипов от разных поставщиков — SoC Qualcomm Snapdragon со встроенным 4G/LTE для мобильных телефонов, чипы Intel для планшетов Surface Pro (наряду с SoC Nvidia на несуществующих продуктах Surface RT), а также специальные APU AMD в Xbox One. .

Из соображений мощности наиболее очевидным выбором будет SoC Snapdragon, аналогичный тем, которые используются в телефонах Lumia. Это не означает, что HoloLens будет столь же слабым, как Google Glass. HoloLens — это гораздо более крупное устройство, в котором есть место для большей батареи; и последние SoC Snapdragon намного мощнее, чем чипсет, используемый в Google Glass (который значительно медленнее, чем чипы, используемые в умных часах). Ранние тесты показывают, что графический процессор Adreno 430, используемый в будущих флагманских SoC Qualcomm, таких как Snapdragon 810, является мощным двигателем, способным обрабатывать разрешения 4K и отображать относительно сложный 3D-контент в формате 1080p.

Дело не только в производительности рендеринга. Графические процессоры предлагают большой вычислительный потенциал и могут использоваться не только для игр. Google использовала Tegra K1 для Project Tango, который также занимается рядом технологий, которые могут быть очень полезны для устройств AR или VR — автоматизация, беспилотные автомобили и так далее. Я уже упоминал Vuforia, и в индустрии графических процессоров есть и другие игроки, но у Nvidia есть преимущество в использовании ядер CUDA — она уже много лет является лидером рынка профессиональной графики и вычислений GPGPU.

Однако мы не должны зацикливаться на мышлении «что там снаружи». Пройдет некоторое время, прежде чем HoloLens поступит в продажу, а последующие поколения обязательно будут оснащены еще более мощным аппаратным обеспечением. Вскоре появятся новые 14-нм процессоры Intel Atom, а через пару кварталов должны появиться 14-нм и 16-нм SoC на базе ARM. Новые непланарные узлы обеспечат еще большую производительность на ватт, резко повысив общую производительность без ущерба для времени автономной работы.

Потоковая передача как альтернатива

Существует также альтернатива, о которой я упоминал ранее, — облачные вычисления и потоковая передача могут использоваться для отображения сложного, ресурсоемкого 3D-контента. Новейшие SoC оснащены беспроводными модемами 802.11ac и быстрыми модемами LTE, которых достаточно для потоковой передачи с высоким разрешением. Недостатком этого подхода, особенно LTE, является отставание.

Если дополнительный контент визуализируется локально, на рабочей станции ПК или, возможно, даже на Xbox One, задержка должна быть ограничена, но удаленный облачный рендеринг может оказаться проблематичным. Например, Nvidia пытается решить эту проблему, устанавливая серверы GRID в стратегических местах, пытаясь охватить крупнейшие рынки потоковой передачей игр с минимальными задержками. Всего несколько миллисекунд дополнительной задержки могут поставить под угрозу взаимодействие с пользователем в приложении AR.

Мобильного SoC должно быть достаточно для большинства повседневных задач, таких как Skype и некоторые ограниченные приложения дополненной реальности. Однако если архитектор хочет зайти на строительную площадку и посмотреть, как будет выглядеть готовое здание с использованием дополненной реальности, HoloLens придется поддерживать дополнительным оборудованием; рендеринг сложных сцен с сотнями тысяч или миллионами полигонов, продвинутыми световыми эффектами и так далее.

Положительным моментом является то, что HoloLens может предложить множество функций из коробки с относительно мощным встроенным графическим процессором, способным выполнять множество повседневных задач, таких как потоковое видео с высоким разрешением, просмотр и даже обычные игры. С другой стороны, профессионалы могут использовать 802.11ac или LTE для потоковой передачи более сложного контента, отображаемого удаленно.

Microsoft может практически использовать одну и ту же аппаратную платформу для домашних пользователей и профессионалов, причем последние используют локальную или облачную потоковую передачу для более сложных и ресурсоемких задач.

Есть ли вариант использования и рынок для HoloLens?

Microsoft продемонстрировала HoloLens в различных сценариях. Хотя демонстрации были довольно интересными, в них не был точно описан реалистичный и коммерчески жизнеспособный вариант использования нового устройства.

Что мне нравится в HoloLens, так это то, что он находится на полпути между настоящими носимыми устройствами, такими как Google Glass, и проводными решениями виртуальной реальности, такими как Oculus Rift. HoloLens не обязательно должен быть достаточно легким и портативным, чтобы носить его на улице, но в то же время его не нужно привязывать к компьютеру или внешнему источнику питания — лучшее из обоих миров. Мне также нравится тот факт, что Microsoft предпочитает вести, а не следовать. HoloLens отличается от существующих концепций и продуктов; это инновационно, футуристично и оригинально - глоток свежего воздуха из Редмонда.

Однако этот подход также поднимает ряд важных вопросов о сценарии использования HoloLens и размере рынка. Он не может заменить дисплей, как решения виртуальной реальности, но его нельзя использовать в повседневных ситуациях из-за его огромных размеров и внешнего вида. Хотя вы можете увидеть некоторых пассажиров и спортсменов, использующих умные очки, вы, вероятно, не увидите лыжников или бегунов, носящих гарнитуру HoloLens.

Что обычные пользователи могут делать с HoloLens? Какие программные платформы и операционные системы будут поддерживаться? А профессиональные приложения? Как насчет кроссплатформенной функциональности HoloLens, технических характеристик оборудования, розничной цены и спецификации?

На многие вопросы еще предстоит ответить, и, вероятно, пройдет некоторое время, прежде чем Microsoft опубликует всю информацию.

Microsoft придется одновременно ориентироваться на массовый и профессиональный рынки, используя одно и то же оборудование. В зависимости от цены и спецификации Microsoft может использовать свою базу пользователей Xbox, а также сегмент игрового рынка для ПК, чтобы предлагать продукты HoloLens основным пользователям. Маркетинг такого продукта будет непростым, если цена слишком высока, но пользовательская база есть — и она готова тратить большие деньги на новые гаджеты. Подход к основному рынку также поможет привлечь больше разработчиков, тем самым расширив экосистему и создав новые варианты использования.

Но если продукты HoloLens должны быть рассчитаны на массовый рынок, как Microsoft пойдет на профессиональный рынок и заработает на этом какие-то деньги?

Несколько лет назад я зарабатывал на жизнь автономной 3D-графикой и вижу большой потенциал в HoloLens. Есть много пользователей 3D/CAD, и многие из них согласятся. Означает ли это, что каждый дизайнер сможет подобрать устройство HoloLens по цене для основного рынка и использовать его для работы? Возможно, но, вероятно, нет.

Есть и другие способы сбыта продукции в этом пространстве. Я занимаюсь графическими процессорами уже много лет, и за это время я кое-что узнал о том, как работает эта индустрия. Несмотря на то, что все заголовки освещают высококлассные видеокарты для геймеров, настоящими дойными коровами для Nvidia и AMD являются профессиональные графические и вычислительные решения. Они незамеченные герои в этой дуополии. Спецификация для потребительской карты и профессиональной карты на базе одного и того же графического процессора примерно одинакова, но профессиональные карты стоят намного дороже, на порядок больше. Они приносят огромную прибыль и приносят большой доход и прибыль, несмотря на низкие общие объемы — вы можете проверить любой квартальный отчет Nvidia для получения дополнительной информации.

Microsoft может прибегнуть к аналогичному подходу. HoloLens может использовать одно и то же оборудование для обоих рынков, ограничивать функциональность на потребительских моделях и расширять ее на профессиональные продукты с помощью разных уровней лицензирования.

Конечно, на данный момент это всего лишь предположения, но так работает этот рынок. Microsoft не нужно изобретать велосипед.