Recenzja Microsoft HoloLens — wypełnienie luki między AR i VR

Microsoft ma długą tradycję urozmaicania stosunkowo nudnych zapowiedzi produktów atrakcyjnymi demonstracjami technicznymi, a zapowiedź systemu Windows 10 nie była wyjątkiem. Gigant oprogramowania wykorzystał okazję, aby wywołać spore zainteresowanie na temat HoloLens, futurystycznego zestawu słuchawkowego, który daje wgląd w przyszłość rozszerzonej rzeczywistości (AR). Jednak Microsoft ma też tradycję spektakularnych wpadek sprzętowych, które osiągnęły szczyt w czasach reżimu Ballmera. Pamiętasz telefon Kin? Ani ja.

Wprowadzenie HoloLens prawdopodobnie nie będzie taką klapą z wielu powodów. Przede wszystkim HoloLens ma jeszcze długą drogę do przebycia, zanim stanie się komercyjnie opłacalnym urządzeniem – może to potrwać kilka kwartałów lub kilka lat. Po drugie, koncepcja, która się za tym kryje, to dźwięk i opiera się na kilku obiecujących pojawiających się trendach branżowych, takich jak urządzenia do noszenia i zestawy słuchawkowe do wirtualnej rzeczywistości (VR). HoloLens stara się być nieco inny, łącząc wiele funkcji w jednym urządzeniu, ale w tej recenzji Microsoft HoloLens przyjrzymy się, co już jest, a co jest w toku.

Ponieważ jest to blog inżynierski przeznaczony dla profesjonalistów VR i innych inżynierów, nie będę spędzał dużo czasu na odpowiadaniu na pytanie „Czym jest HoloLens?” i wyjaśnienie różnicy między AR i VR. Technologia rzeczywistości rozszerzonej ma szereg potencjalnych zastosowań w różnych branżach, ale ograniczone zastosowania w rozrywce. Rzeczywistość wirtualna jest bardziej nastawiona na rozrywkę, choć ma też pewne zastosowania profesjonalne.

Obie technologie nadal mają wiele ograniczeń, a aby zyskać atrakcyjność na rynku masowym, trzeba pokonać liczne wyzwania techniczne. To stopniowy proces, który zajmie lata, a nie miesiące. Technologia potrzebna do tworzenia takich produktów bez rozbijania banku po prostu nie jest gotowa, ale powoli do niej dociera.

Przyjrzyjmy się, co tam jest, a czego brakuje.

Ograniczenia sprzętowe — Google Glass kontra Oculus Rift kontra Microsoft HoloLens

Google Glass został ogłoszony na początku 2012 roku, a jego wysyłka rozpoczęła się rok później w cenie 1500 USD. Wysoka cena oznaczała, że ​​była zarezerwowana dla bardzo małej niszy – wczesnych użytkowników określanych jako „odkrywcy” przez machinę PR i marketingową Google. Urządzenie oferowało ograniczoną funkcjonalność AR i zawierało mały projektor pryzmatyczny o rozdzielczości 640x360 pikseli, zasilany przestarzałym procesorem.

Choć na chwilę udało mu się zachwycić publiczność, Google Glass trudno nazwać sukcesem. Twórcy aplikacji, którzy chcieli wskoczyć na modę, zaczęli tracić zainteresowanie, wraz z „odkrywcami”, którzy wydawali się przezwyciężyć modę w ciągu kilku miesięcy. Najnowsze plotki wskazują na nową wersję Google Glass z krzemem Intela, więc może być trochę za wcześnie na nekrolog. Tak czy inaczej, Google Glass nie odniosło wielkiego sukcesu, bez względu na to, jak na to spojrzysz.

Oculus Rift jest obecnie prawdopodobnie najczęściej omawianym systemem VR, ale w przeciwieństwie do Google Glass, nie został jeszcze uruchomiony. Oculus VR pracuje nad urządzeniem od lat, w trakcie którego firma przeszła dwie generacje zestawów deweloperskich. Wersja konsumencka ma pojawić się w 2015 roku ze zmienioną specyfikacją. W marcu 2014 r. Facebook kupił Oculus VR za ponad 2 mld USD w gotówce i akcjach Facebooka.

Gear VR firmy Samsung oferuje inne podejście, ponieważ wykorzystuje phablet Galaxy Note 4 zamiast wbudowanego ekranu, ale opiera się na technologii opracowanej przez Oculus. Uważam, że koncepcja modułowa jest interesująca, ponieważ podobne podejście można zastosować w przypadku wielu urządzeń mobilnych różnych dostawców, co pozwoli użytkownikom skutecznie aktualizować sprzęt za każdym razem, gdy otrzymają nowy telefon. Platforma Vuforia firmy Qualcomm oferuje obiecujące funkcje dla urządzeń mobilnych i potencjalnych aplikacji AR/VR.

Więc czego brakuje? Prostą odpowiedzią może być moc obliczeniowa, ale jest to trochę bardziej skomplikowane.

Problem z obiema koncepcjami polega na tym, że wciąż wyprzedzają swój czas, a technologia wciąż musi nadrobić zaległości. HoloLens Microsoftu z pewnością będą cierpieć z powodu tych samych problemów z ząbkowaniem, ale koncepcja Microsoftu jest nieco inna i dlatego ma szansę przezwyciężyć przynajmniej niektóre z tych problemów.

Google Glass zostało zaprojektowane jako lekkie urządzenie do noszenia, co skutkowało szeregiem kompromisów. Urządzenie posiadało pojedynczy wyświetlacz na grubym pryzmacie przed prawym okiem użytkownika. Rozdzielczość była bardzo ograniczona, biorąc pod uwagę pole widzenia (FOV). Na przykład wyświetlacze smartwatchów mają zwykle podobną rozdzielczość pionową dla urządzenia, które zajmuje tylko kilka stopni pola widzenia użytkownika. Google Glass był oparty na przestarzałym systemie System on Chip (SoC) i miał ograniczoną żywotność baterii.

Projektowanie urządzeń mobilnych nie jest łatwe i zawsze wiąże się z szeregiem kompromisów. Wyświetlacze o wyższej rozdzielczości wymagają większej mocy GPU, co wymaga użycia większych układów SoC z mocniejszymi układami GPU pracującymi przy wyższym obciążeniu, co z kolei wymaga większej baterii i tak dalej. To dobry balans, a zestaw słuchawkowy AR jest po prostu za mały, aby pomieścić dużą baterię, taką jak ta używana w tabletach o wysokiej rozdzielczości.

Na pierwszy rzut oka wydaje się, że Oculus Rift nie ma podobnych niedociągnięć na froncie sprzętowym, ponieważ nie ma kompromisów ze względu na żywotność baterii i przenośność. Nie opiera się na zintegrowanym SoC, a wyświetlacz 1080p brzmi pożądany; ale w rzeczywistości to za mało dla fotorealizmu. Urządzenie ma bardzo duże pole widzenia, a gęstość pikseli wciąż jest niewystarczająca.

Aby rozwiązać ten problem, urządzenia VR będą musiały w przyszłości korzystać z wyświetlaczy o wyższej rozdzielczości 4K/UHD, a nawet 8K. Technologia jest już prawie dostępna, ale nie jest tania i nie jest przenośna.

Jeśli chcesz uruchamiać najnowsze gry AAA na wyświetlaczu 4K z najwyższymi możliwymi ustawieniami szczegółów, potrzebujesz dwóch dyskretnych kart graficznych wysokiej klasy. Na przykład karty Nvidia i AMD oparte na flagowych procesorach graficznych generacji Maxwell i Hawaii. Aby wyeliminować rozrywanie klatek (przy użyciu technologii podobnych do G-Sync Nvidii lub FreeSync AMD) potrzebujesz nieco więcej mocy, a do prawidłowego 3D dla obu oczu potrzebujesz jeszcze więcej mocy GPU.

Najważniejsze jest to, że aby zasilić urządzenie 4K VR przy użyciu obecnie dostępnej technologii, potrzebne byłyby co najmniej dwa procesory graficzne z łącznie 12-14 miliardami tranzystorów w procesie 28 nm, zużywające od 350 do 500 W mocy, nie licząc procesora i reszty systemu . To ostrożne szacunki, oparte na aktualnie dostępnych GPU i procesorach – i nie dyskutujmy nawet o zasilaniu dwóch ekranów 4K, po jednym na oko.

Najnowszy mobilny SoC Nvidii, 64-bitowy procesor Tegra K1 używany w Google Nexus 9, zawiera 192 rdzenie CUDA oparte na architekturze Kepler, a nie wydajniejszy Maxwell. Obecne flagowe dyskretne karty graficzne tej firmy mają 2048 rdzeni Maxwell CUDA pracujących z wyższymi zegarami niż rdzenie Keplera w mobilnych układach Tegra SoC.

Przenośne urządzenia VR z fotorealistyczną grafiką są wyraźnie niedostępne przez wiele lat, a nawet urządzenia przewodowe, takie jak Oculus Rift, mają przed sobą długą drogę. Innym problemem jest ogólny koszt platformy. Komputery do gier, które są w stanie wypompować grywalną liczbę klatek na sekundę w rozdzielczości 1080p, są stosunkowo tanie, ponieważ główne procesory graficzne są wystarczająco szybkie, aby wykonać to zadanie. Ale przy 2160p potrzebujesz czterokrotnie większej mocy GPU, wspartej większą pamięcią i szybszym procesorem.

Jest inny sposób rozwiązania tego problemu i omówię go później.

Więc co Microsoft zrobił dobrze?

Pamiętasz umowę z Facebookiem na Oculus Rift, o której wspomniałem wcześniej? Zaledwie kilka dni po ogłoszeniu okazało się, że Microsoft kupił zasoby własności intelektualnej (IP) związane z rozszerzoną rzeczywistością i komputerami ubieralnymi od Osterhout Design Group (ODG). Niektóre patenty obejmowały „przezroczyste okulary zbliżeniowe” z częściowo przepuszczającym elementem optycznym.

Innymi słowy, Microsoft kupił IP potrzebne do stworzenia HoloLens; a umowa podobno obejmowała dziesiątki patentów ODG, w tym kilkadziesiąt kolejnych wniosków patentowych w toku. Tymczasem mówi się, że Oculus VR ma tylko jeden patent, który niejasno opisuje „zestaw do wirtualnej rzeczywistości”.

Wydaje się, że Microsoft stara się uzyskać to, co najlepsze z obu światów – szerokie pole widzenia, zwykle kojarzone z urządzeniami VR oraz przezroczystą powierzchnię wyświetlacza odpowiednią do zastosowań AR. Takie podejście powinno pozwolić HoloLens na wykorzystanie znacznie mniejszej mocy obliczeniowej niż urządzenia VR, a jednocześnie oferować większą funkcjonalność dzięki szerokiemu polu widzenia. Zamiast próbować renderować fotorealistyczną treść, HoloLens może uciec z nieco niższą rozdzielczością i jakością obrazu ze względu na ograniczoną nieprzezroczystość wyświetlanej treści. Nie ma potrzeby tworzenia iluzji rzeczywistości, więc jest to o wiele mniejsze obciążenie sprzętowe. Wiele gotowych technologii może pozwolić HoloLens na zredukowanie lub wyeliminowanie aliasingu i wygenerowanie dobrze wyglądających kompozytów, ponieważ tło już tam jest.

Fakt ten ogranicza atrakcyjność HoloLens w niszy rozrywkowej, w przeciwieństwie do prawdziwych zestawów VR; ale otwiera szereg możliwości w innych branżach, od inżynierii i opieki zdrowotnej po architekturę i obronność. HoloLens może być używany do pomocy pracownikom służby zdrowia, inżynierom, operatorom maszyn przemysłowych, żołnierzom i organom ścigania.

Jednak HoloLens wciąż ma zastosowanie w przestrzeni konsumenckiej. Phil Spencer z Microsoftu powiedział, że HoloLens musi być samodzielnym produktem odnoszącym sukcesy, dodając, że firma już szuka sposobów na wykorzystanie go w połączeniu z komputerami PC i konsolami Xbox One. Urządzenie może służyć jako wyświetlacz przezierny (HUD) dla graczy, a nawet dla miłośników fitnessu na siłowniach.

Zagadka sprzętowa HoloLens

Microsoft nie ujawnił dokładnych specyfikacji sprzętowych, więc nadal nie do końca wiemy, czego się spodziewać. Nie ma słowa o rozdzielczości wyświetlacza, GPU GFLOP, łączności czy żywotności baterii. To pozostawia wiele miejsca na spekulacje, które prasa techniczna chętnie wypełnia calami kolumn i przynętą na kliknięcia, ale nic nie jest jeszcze oficjalne.

Jak powiedziałem, HoloLens nie powinny wymagać tak dużej mocy GPU, jak Oculus Rift i podobne produkty VR. Nie oznacza to jednak, że Microsoftowi ujdzie na sucho tani SoC, taki jak te powszechnie stosowane w produktach mobilnych. Microsoft używa obecnie wielu chipów od różnych dostawców – Qualcomm Snapdragon SoCs ze zintegrowanym 4G/LTE dla telefonów komórkowych, chipów Intela dla tabletów Surface Pro (wraz z Nvidia SoCs w nieistniejących produktach Surface RT), a także niestandardowych APU AMD w Xbox One .

Ze względu na względy mocy najbardziej oczywistym wyborem byłby Snapdragon SoC, podobny do tych stosowanych w telefonach Lumia. Nie oznacza to, że HoloLens byłyby tak słabe jak Google Glass. HoloLens to znacznie większe urządzenie, z miejscem na większą baterię; a najnowsze układy SoC Snapdragon są znacznie wydajniejsze niż chipset używany w Google Glass (który jest znacznie wolniejszy niż chipy używane w smartwatchach). Wczesne testy wskazują, że procesor graficzny Adreno 430 zastosowany w nadchodzących flagowych układach SoC Qualcomm, takich jak Snapdragon 810, jest potężnym narzędziem zdolnym do obsługi rozdzielczości 4K i renderowania stosunkowo złożonych treści 3D w 1080p.

Nie chodzi tylko o samą wydajność renderowania. Procesory graficzne oferują duży potencjał obliczeniowy i mogą być używane nie tylko do gier. Google wykorzystał Tegra K1 do projektu Tango, który zajmuje się również szeregiem technologii, które mogą być bardzo przydatne w urządzeniach AR lub VR - automatyka, samochody bez kierowcy i tak dalej. Wspomniałem już o Vuforii, są też inni gracze w branży GPU, ale Nvidia ma tę zaletę, że wykorzystuje rdzenie CUDA – od lat jest liderem na rynku profesjonalnych układów graficznych i obliczeń GPGPU.

Jednak nie powinniśmy być zamknięci w sposobie myślenia „co tam jest”. Minie trochę czasu, zanim HoloLens trafi do sprzedaży, a kolejne generacje z pewnością będą miały jeszcze mocniejszy sprzęt. Wkrótce pojawią się nowe 14 nm atomy Intela, podczas gdy SoC 14 nm i 16 nm oparte na ARM powinny pojawić się kilka kwartałów później. Nowe nieplanarne węzły pozwolą na jeszcze większą wydajność na wat, drastycznie poprawiając ogólną wydajność bez wpływu na żywotność baterii.

Streaming jako alternatywa

Istnieje również alternatywa, o której wspomniałem wcześniej – przetwarzanie w chmurze i przesyłanie strumieniowe mogą być wykorzystywane do wyświetlania złożonych, zasobożernych treści 3D. Najnowsze SoC są wyposażone w bezprzewodowe modemy 802.11ac i szybkie modemy LTE, wystarczające do przesyłania strumieniowego w wysokiej rozdzielczości. Minusem tego podejścia, zwłaszcza LTE, jest opóźnienie.

Jeśli dodatkowa zawartość jest renderowana lokalnie, na stacji roboczej PC lub być może nawet na Xbox One, opóźnienie powinno być ograniczone, ale zdalne renderowanie w chmurze może okazać się problematyczne. Na przykład Nvidia próbuje rozwiązać ten problem, konfigurując serwery GRID w strategicznych lokalizacjach, próbując objąć największe rynki strumieniowaniem gier z niskim opóźnieniem. Zaledwie kilka milisekund dodatkowego opóźnienia może negatywnie wpłynąć na wrażenia użytkownika w aplikacji AR.

Mobilny SoC powinien wystarczyć do większości codziennych zadań, takich jak Skype i niektóre aplikacje z ograniczoną rzeczywistością rozszerzoną. Jeśli jednak architekt chce wejść na plac budowy i zobaczyć, jak będzie wyglądał ukończony budynek w rzeczywistości rozszerzonej, HoloLens będzie musiał być wspierany przez więcej sprzętu; renderowanie złożonych scen z setkami tysięcy lub milionami wielokątów, zaawansowanymi efektami świetlnymi i tak dalej.

Plusem jest to, że HoloLens może oferować wiele funkcji zaraz po wyjęciu z pudełka, ze stosunkowo potężnym zintegrowanym procesorem graficznym zdolnym do obsługi wielu codziennych zadań, takich jak przesyłanie strumieniowe wideo w wysokiej rozdzielczości, przeglądanie stron internetowych, a nawet zwykłe gry. Z drugiej strony profesjonaliści mogą wykorzystać 802.11ac lub LTE do strumieniowego przesyłania bardziej złożonych treści, renderowanych zdalnie.

Microsoft mógłby praktycznie korzystać z tej samej platformy sprzętowej dla użytkowników domowych i profesjonalistów, przy czym ci ostatni wykorzystywaliby strumieniowanie lokalne lub w chmurze do bardziej zaawansowanych zadań wymagających dużej ilości zasobów.

Czy istnieje przypadek użycia i rynek dla HoloLens?

Microsoft zaprezentował HoloLens w wielu różnych scenariuszach. Chociaż dema były dość interesujące, nie określały dokładnie realistycznego i opłacalnego komercyjnie przypadku użycia nowego urządzenia.

To, co podoba mi się w HoloLens, to fakt, że znajduje się w połowie drogi między prawdziwymi urządzeniami do noszenia, takimi jak Google Glass, a przewodowymi rozwiązaniami VR, takimi jak Oculus Rift. HoloLens nie musi być wystarczająco lekki i przenośny, aby nosić go na ulicy, ale jednocześnie nie musi być podłączony do komputera lub zewnętrznego źródła zasilania – to najlepsze z obu światów. Podoba mi się również fakt, że Microsoft woli przewodzić, a nie podążać. HoloLens różni się od istniejących koncepcji i produktów; jest innowacyjny, futurystyczny i oryginalny - powiew świeżego powietrza z Redmond.

Jednak takie podejście rodzi również szereg ważnych pytań dotyczących przypadku użycia HoloLens oraz wielkości rynku. Nie zastąpi wyświetlacza jak rozwiązania VR, ale nie nadaje się do użytku w codziennych sytuacjach ze względu na swoją wielkość i wygląd. Chociaż możesz zobaczyć niektórych dojeżdżających do pracy i sportowców używających inteligentnych okularów, prawdopodobnie nie zobaczysz narciarzy ani biegaczy noszących gogle HoloLens.

Co mogą zrobić zwykli użytkownicy z HoloLens? Jakie platformy oprogramowania i systemy operacyjne będą obsługiwane? A co z zastosowaniami profesjonalnymi? A co z wieloplatformową funkcjonalnością HoloLens, specyfikacjami sprzętowymi, ceną detaliczną i zestawieniem materiałów (BOM)?

Wiele pytań wciąż wymaga odpowiedzi i prawdopodobnie minie trochę czasu, zanim Microsoft udostępni wszystkie informacje.

Microsoft będzie musiał jednocześnie kierować się na rynek główny i rynek profesjonalny, korzystając z tego samego sprzętu. W zależności od ceny i BOM, Microsoft może wykorzystać swoją bazę użytkowników konsoli Xbox, a także segment rynku gier na komputery PC, aby udostępnić produkty HoloLens użytkownikom masowym. Marketing takiego produktu nie będzie łatwy, jeśli cena będzie zbyt wysoka, ale baza użytkowników jest tam – i jest gotowa wydać dużo pieniędzy na nowe gadżety. Główne podejście rynkowe pomogłoby również zaangażować więcej programistów, rozszerzając w ten sposób ekosystem i tworząc nowe przypadki użycia.

Ale jeśli ceny produktów HoloLens będą wyceniane na rynek głównego nurtu, w jaki sposób Microsoft będzie podążał za rynkiem profesjonalnym i zarobi na tym trochę pieniędzy?

Lata temu zarabiałem na życie w grafice 3D offline i widzę w HoloLens duży potencjał. Jest wielu użytkowników 3D/CAD i wielu z nich się zgodzi. Czy to oznacza, że ​​każdy projektant będzie mógł odebrać urządzenie HoloLens wycenione na rynek głównego nurtu i używać go do pracy? Możliwe, ale prawdopodobnie nie.

Istnieją inne sposoby marketingu produktów w tej przestrzeni. Od lat zajmuję się tematem GPU i przez ten czas nauczyłem się kilku rzeczy o tym, jak działa branża. Chociaż wysokiej klasy karty graficzne dla graczy trafiają na pierwsze strony gazet, prawdziwymi dojnymi krowami dla Nvidii i AMD są profesjonalne rozwiązania graficzne i obliczeniowe. Są niedocenianymi bohaterami tego duopolu. BOM dla karty konsumenckiej i karty profesjonalnej opartej na tym samym GPU jest mniej więcej taki sam, ale karty profesjonalne kosztują znacznie więcej, o rząd wielkości więcej. Zapewniają ogromne marże i generują duże przychody i zyski, pomimo niskich ogólnych wolumenów – możesz sprawdzić dowolny kwartalny raport zysków Nvidii, aby uzyskać więcej informacji.

Microsoft mógłby uciec się do podobnego podejścia. HoloLens może używać tego samego sprzętu na obu rynkach, ograniczać funkcjonalność modeli konsumenckich i rozszerzać go na produkty profesjonalne na różnych poziomach licencjonowania.

Oczywiście w tym momencie to wszystko tylko spekulacje - ale tak działa ten rynek. Microsoft nie musi wymyślać koła na nowo.