Revizuirea Microsoft HoloLens - Reducerea decalajului dintre AR și VR

Microsoft are o tradiție lungă de a condimenta anunțuri despre produse relativ plictisitoare cu demonstrații tehnice convingătoare, iar anunțul Windows 10 nu a făcut excepție. Gigantul software a folosit ocazia pentru a crea o cantitate destul de mare de zgomot despre HoloLens, un set cu cască futurist care oferă o privire asupra viitorului Realității Augmentate (AR). Cu toate acestea, Microsoft are și o tradiție de eșecuri hardware spectaculoase, care au atins apogeul sub regimul Ballmer. Îți amintești telefonul Kin? Nici eu nu.

Introducerea HoloLens probabil nu va fi un astfel de flop din mai multe motive. În primul rând, HoloLens mai are un drum lung de parcurs până să devină un dispozitiv viabil din punct de vedere comercial - ar putea dura aproximativ câteva sferturi sau câțiva ani. În al doilea rând, conceptul din spatele acestuia este solid și se bazează pe câteva tendințe promițătoare din industrie emergente, cum ar fi tehnologia purtabilă și căștile de realitate virtuală (VR). HoloLens încearcă să fie oarecum diferit prin gruparea multor funcționalități într-un singur dispozitiv, dar în această recenzie Microsoft HoloLens vom arunca o privire asupra a ceea ce există deja și a ceea ce este în lucru.

Deoarece acesta este un blog de inginerie conceput pentru profesioniștii VR și alți ingineri, nu voi petrece mult timp răspunzând la întrebarea „Ce este HoloLens?” și explicând diferența dintre AR și VR. Tehnologia de realitate augmentată are o gamă de aplicații potențiale în diverse industrii, dar aplicații limitate în divertisment. Realitatea virtuală este mai orientată spre divertisment, deși are și unele aplicații profesionale.

Ambele tehnologii au încă o mulțime de limitări și numeroase provocări tehnice trebuie depășite pentru a câștiga atractivitate pe piața de masă. Acesta este un proces gradual care va dura mai degrabă ani decât luni. Tehnologia necesară pentru a crea astfel de produse fără a sparge banca pur și simplu nu este gata, dar ajunge încet-încet acolo.

Să aruncăm o privire la ce este acolo și ce lipsește.

Limitări hardware - Google Glass vs. Oculus Rift vs. Microsoft HoloLens

Google Glass a fost anunțat la începutul anului 2012 și a început să fie livrat un an mai târziu la un cost de 1.500 USD. Eticheta de preț mare a însemnat că era rezervată pentru o nișă foarte mică - primii care adoptă, descriși ca „exploratori” de mașina de PR și marketing de la Google. Dispozitivul oferea o funcționalitate AR limitată și conținea un mic proiector cu prismă cu o rezoluție de 640x360 pixeli, alimentat de un procesor învechit.

Deși a reușit să captiveze publicul pentru o vreme, Google Glass nu poate fi descris drept un succes. Dezvoltatorii de aplicații care erau dornici să se arunce în val au început să-și piardă interesul, împreună cu „exploratorii” care păreau să treacă peste mod în câteva luni. Cele mai recente zvonuri indică o nouă versiune de Google Glass cu siliciu Intel în interior, așa că ar putea fi puțin prea devreme pentru un necrolog. În orice caz, Google Glass nu a avut un mare succes, indiferent de modul în care îl priviți.

Oculus Rift este poate cel mai discutat sistem VR în acest moment, dar spre deosebire de Google Glass, încă nu a fost lansat. Oculus VR lucrează la dispozitiv de ani de zile, iar în acest proces compania a trecut prin două generații de kituri de dezvoltare. Versiunea pentru consumatori este de așteptat să fie lansată cândva în 2015, cu o specificație revizuită. În martie 2014, Oculus VR a fost cumpărat de Facebook pentru mai mult de 2 miliarde de dolari în numerar și acțiuni Facebook.

Gear VR de la Samsung oferă o abordare diferită, deoarece utilizează phableta Galaxy Note 4 în locul unui ecran încorporat, dar se bazează pe o tehnologie dezvoltată de Oculus. Consider că conceptul modular este interesant, deoarece o abordare similară ar putea fi folosită cu o gamă de dispozitive mobile de la diferiți furnizori, care ar permite utilizatorilor să actualizeze hardware-ul eficient de fiecare dată când primesc un telefon nou. Platforma Vuforia de la Qualcomm se mândrește cu câteva caracteristici promițătoare pentru dispozitivele mobile și potențiale aplicații AR/VR.

Deci, ce lipsește? Răspunsul simplu ar putea fi puterea de procesare, dar este puțin mai complicat decât atât.

Problema cu ambele concepte este că ele sunt încă înaintea timpului lor, iar tehnologia încă trebuie să ajungă din urmă. HoloLens de la Microsoft este obligat să sufere de aceleași probleme, dar conceptul Microsoft este oarecum diferit și, prin urmare, are șansa de a depăși cel puțin unele dintre aceste probleme.

Google Glass a fost conceput ca un dispozitiv ușor de purtat, ceea ce a dus la o serie de compromisuri. Dispozitivul prezenta un singur afișaj pe o prismă groasă în fața ochiului drept al utilizatorului. Rezoluția a fost foarte limitată având în vedere câmpul vizual (FOV). De exemplu, afișajele smartwatch-urilor tind să aibă rezoluții verticale similare pentru un dispozitiv care ocupă doar câteva grade din câmpul vizual al utilizatorului. Google Glass se baza pe un System on Chip (SoC) învechit și avea o durată de viață limitată a bateriei.

Proiectarea dispozitivelor mobile nu este ușoară și implică întotdeauna o serie de compromisuri. Afișajele cu rezoluție mai mare necesită mai multă putere GPU, necesitând utilizarea de SoC-uri mai mari cu GPU-uri mai puternice care lucrează la o sarcină mai mare, ceea ce necesită apoi o baterie mai mare și așa mai departe. Este un act de echilibrare fin, iar o cască AR este pur și simplu prea mică pentru a găzdui o baterie mare, precum cele folosite la tabletele de înaltă rezoluție.

La prima vedere, Oculus Rift nu pare să sufere de deficiențe similare pe partea hardware, deoarece nu are compromisuri de dragul duratei de viață a bateriei și al portabilității. Nu se bazează pe un SoC integrat, iar un afișaj 1080p sună de dorit; dar, în realitate, nu este suficient pentru fotorealism. Dispozitivul are un FOV foarte mare, iar densitatea pixelilor este încă insuficientă.

Pentru a depăși această problemă, dispozitivele VR ar trebui să utilizeze ecrane 4K/UHD cu rezoluție mai mare sau chiar afișaje 8K la un moment dat în viitor. Tehnologia este aproape acolo, dar nu este ieftină și nu este portabilă.

Dacă doriți să rulați cele mai recente jocuri AAA pe un afișaj 4K cu cele mai mari setări de detalii posibile, aveți nevoie de două plăci grafice discrete de ultimă generație. De exemplu, plăcile Nvidia și AMD bazate pe GPU-uri emblematice din generația Maxwell și Hawaii. Pentru a elimina frame tearing (folosind tehnologii similare cu G-Sync de la Nvidia sau FreeSync de la AMD) aveți nevoie de puțin mai multă putere, iar pentru a face 3D adecvat pentru ambii ochi aveți nevoie de și mai multă putere GPU.

Concluzia este: pentru a alimenta un dispozitiv 4K VR folosind tehnologia disponibilă în prezent, veți avea nevoie de cel puțin două GPU-uri cu un total de 12-14 miliarde de tranzistori în 28nm, consumând 350W până la 500W de putere, fără a număra procesorul și restul sistemului. . Aceasta este o estimare conservatoare, bazată pe GPU și procesoarele disponibile în prezent - și să nu discutăm nici măcar ideea de a alimenta două ecrane 4K, unul pe ochi.

Cel mai recent SoC mobil al Nvidia, Tegra K1 pe 64 de biți utilizat în Google Nexus 9, are 192 de nuclee CUDA bazate pe arhitectura Kepler, nu Maxwell, mai eficient. Placile grafice discrete actuale ale companiei au 2048 de nuclee Maxwell CUDA care rulează la ceasuri mai mari decât nucleele Kepler din SoC-urile Tegra mobile.

Dispozitivele VR portabile cu grafică fotorealistă sunt în mod clar indisponibile în anii următori, iar chiar și dispozitivele cu fir precum Oculus Rift au un drum lung de parcurs. Costul total al platformei este o altă preocupare. PC-urile de gaming capabile să producă rate de cadre redate la 1080p sunt relativ ieftine, deoarece GPU-urile principale sunt suficient de rapide pentru a face treaba. Dar la 2160p aveți nevoie de patru ori mai mult decât GPU, susținut de mai multă memorie și un procesor mai rapid.

Există o altă modalitate de a aborda această problemă și o voi trece mai târziu.

Deci, ce a reușit Microsoft?

Îți amintești afacerea cu Oculus Rift de la Facebook pe care am menționat-o mai devreme? La doar câteva zile după ce a fost anunțat, a apărut că Microsoft a cumpărat active de proprietate intelectuală (IP) legate de realitatea augmentată și computere purtabile de la Osterhout Design Group (ODG). Unele dintre brevete au acoperit „ochelari de afișare aproape de ochi” cu un element optic cu transmisie parțială.

Cu alte cuvinte, Microsoft a cumpărat IP-ul necesar pentru a crea HoloLens; iar acordul a acoperit zeci de brevete ODG, inclusiv câteva zeci de cereri de brevet în curs de desfășurare. Între timp, se spune că Oculus VR are doar un singur brevet, care descrie vag „un set cu cască de realitate virtuală”.

Microsoft pare să încerce să obțină tot ce este mai bun din ambele lumi – un FOV larg asociat de obicei cu dispozitivele VR și o suprafață de afișare transparentă potrivită pentru aplicațiile AR. Abordarea ar trebui să permită HoloLens să utilizeze mult mai puțină putere de procesare decât dispozitivele VR, oferind în același timp mai multă funcționalitate datorită FOV larg. În loc să încerce să redea conținut fotorealist, HoloLens ar putea scăpa cu o rezoluție și o calitate a imaginii puțin mai scăzute din cauza opacității limitate a conținutului afișat. Nu este nevoie să creați o iluzie a realității, așa că este mult mai puțină suprasarcină hardware implicată. O mulțime de tehnologie disponibilă ar putea permite HoloLens să reducă sau să elimine aliasing-ul și să genereze compozite cu aspect frumos, deoarece fundalul este deja acolo.

Acest fapt limitează atracția HoloLens în nișa de divertisment, spre deosebire de căștile VR adevărate; dar, deschide o serie de posibilități în alte industrii, de la inginerie și asistență medicală până la arhitectură și apărare. HoloLens ar putea fi folosit pentru a ajuta profesioniștii din domeniul sănătății, inginerii, operatorii de mașini industriale, soldații și forțele de ordine.

Cu toate acestea, HoloLens are încă aplicații în spațiul de consum. Phil Spencer de la Microsoft a spus că HoloLens trebuie să fie un produs independent de succes, adăugând că compania caută deja modalități de utilizare la unison cu PC-urile și consolele Xbox One. Dispozitivul ar putea servi drept heads up display (HUD) pentru jucători sau chiar pentru iubitorii de fitness din sălile de sport.

Enigma hardware HoloLens

Microsoft nu a dezvăluit specificațiile hardware exacte, așa că încă nu știm prea bine la ce să ne așteptăm. Nu există cuvinte despre rezoluția afișajului, GPU GFLOP, conectivitate sau durata de viață a bateriei. Acest lucru lasă mult loc pentru speculații, pe care presa tehnologică este bucuroasă să le umple cu inchi de coloană și clickbait, dar nimic nu este încă oficial.

După cum am spus, HoloLens nu ar trebui să necesite la fel de multă putere GPU ca Oculus Rift și produse similare VR. Cu toate acestea, acest lucru nu înseamnă că Microsoft poate scăpa cu un SoC ieftin, precum cele utilizate în mod obișnuit în produsele mobile. Microsoft folosește în prezent o gamă de cipuri de la diferiți furnizori – SoC Qualcomm Snapdragon cu 4G/LTE integrat pentru telefoane mobile, cipuri Intel pentru tablete Surface Pro (împreună cu SoC-uri Nvidia pe produsele Surface RT defuncte), împreună cu APU-uri AMD personalizate în Xbox One .

Din considerente de putere, cea mai evidentă alegere ar fi un SoC Snapdragon, asemănător cu cele folosite în telefoanele Lumia. Acest lucru nu înseamnă că HoloLens ar fi la fel de slabă ca Google Glass. HoloLens este un dispozitiv mult mai mare, cu spațiu pentru o baterie mai mare; și, cele mai recente SoC-uri Snapdragon sunt mult mai puternice decât chipsetul folosit în Google Glass (care este semnificativ mai lent decât cipurile utilizate în ceasurile inteligente). Testele de referință timpurii indică faptul că GPU-ul Adreno 430 utilizat în viitoarele SoC-uri emblematice ale Qualcomm, cum ar fi Snapdragon 810, este o putere capabilă să gestioneze rezoluții 4K și să redă conținut 3D relativ complex în 1080p.

Nu este vorba doar despre performanța de randare. GPU-urile oferă mult potențial de calcul și pot fi folosite pentru mult mai mult decât pentru jocuri. Google a folosit Tegra K1 pentru Project Tango, care se ocupă și de o serie de tehnologii care ar putea fi foarte utile pentru dispozitivele AR sau VR - automatizări, mașini fără șofer și așa mai departe. Am menționat deja Vuforia și există și alți jucători în industria GPU-urilor, dar Nvidia are avantajul de a folosi nuclee CUDA – este lider de piață pe piețele de grafică profesională și de calcul GPGPU de ani de zile.

Cu toate acestea, nu ar trebui să fim blocați în mentalitatea „ce este acolo”. Va dura ceva timp până când HoloLens va fi pus în vânzare, iar generațiile ulterioare vor avea în mod sigur un hardware și mai puternic. Noile Atomi de 14 nm de la Intel vor veni în curând, în timp ce SoC-urile de 14 nm și 16 nm bazate pe ARM ar trebui să apară câteva trimestre mai târziu. Noile noduri neplanare vor permite și mai multă performanță pe watt, îmbunătățind drastic performanța generală fără a afecta durata de viață a bateriei.

Streaming ca alternativă

Există, de asemenea, o alternativă pe care am menționat-o mai devreme – cloud computing și streaming ar putea fi folosite pentru a afișa conținut 3D complex, care necesită mult resurse. Cele mai recente SoC-uri dispun de modemuri wireless 802.11ac și LTE rapide, suficiente pentru streaming de înaltă rezoluție. Dezavantajul acestei abordări, în special LTE, este decalajul.

Dacă conținut suplimentar este redat local, pe o stație de lucru PC sau, eventual, chiar pe Xbox One, decalajul ar trebui să fie limitat, dar redarea la distanță în cloud s-ar putea dovedi problematică. De exemplu, Nvidia încearcă să abordeze această problemă instalând servere GRID în locații strategice, în încercarea de a acoperi cele mai mari piețe cu streaming de jocuri cu întârziere redusă. Doar câteva milisecunde de întârziere suplimentară ar putea compromite experiența utilizatorului într-o aplicație AR.

Un SoC mobil ar trebui să fie suficient pentru majoritatea sarcinilor de zi cu zi, cum ar fi Skype și unele aplicații limitate de realitate augmentată. Cu toate acestea, dacă un arhitect dorește să intre într-un șantier și să vadă cum va arăta clădirea finită folosind realitatea augmentată, HoloLens va trebui să fie susținut de mai mult hardware; redarea scenelor complexe cu sute de mii sau milioane de poligoane, efecte de iluminare avansate și așa mai departe.

Avantajul este că HoloLens ar putea oferi o mulțime de funcționalități din cutie, cu un GPU integrat relativ puternic capabil să gestioneze o mulțime de sarcini de zi cu zi, cum ar fi streaming video de înaltă rezoluție, navigare și chiar jocuri ocazionale. Pe de altă parte, profesioniștii ar putea folosi 802.11ac sau LTE pentru a transmite conținut mai complex, redat de la distanță.

Microsoft ar putea folosi practic aceeași platformă hardware pentru utilizatorii casnici și profesioniștii, aceștia din urmă utilizând streaming local sau cloud pentru sarcini mai avansate, care necesită resurse mai mari.

Există un caz de utilizare și o piață pentru HoloLens?

Microsoft a prezentat HoloLens într-o serie de scenarii diferite. Deși demo-urile au fost destul de interesante, nu au precizat exact un caz de utilizare realist și viabil din punct de vedere comercial pentru noul dispozitiv.

Ceea ce îmi place la HoloLens este faptul că se află la jumătatea drumului între purtabile adevărate, cum ar fi Google Glass, și soluții VR cu fir, precum Oculus Rift. HoloLens nu trebuie să fie suficient de ușor și portabil pentru a fi purtat pe stradă, dar, în același timp, nu trebuie să fie legat de un computer sau de o sursă de alimentare externă - cel mai bun din ambele lumi. Îmi place și faptul că Microsoft alege să conducă mai degrabă decât să urmeze. HoloLens diferă de conceptele și produsele existente; este inovator, futurist și original - o gură de aer proaspăt de la Redmond.

Cu toate acestea, această abordare ridică și o serie de întrebări importante despre cazul de utilizare pentru HoloLens și dimensiunea pieței. Nu poate înlocui un afișaj precum soluțiile VR, dar nu poate fi folosit în situații de zi cu zi datorită volumului și aspectului său absolut. Deși este posibil să vedeți unii navetiști și sportivi folosind ochelari inteligenți, probabil că nu veți vedea schiori sau joggeri purtând un set cu cască HoloLens.

Ce ar putea face utilizatorii mainstream cu HoloLens? Ce fel de platforme software și sisteme de operare vor fi acceptate? Dar aplicațiile profesionale? Ce zici de funcționalitatea HoloLens cross-platform, specificațiile hardware, prețul de vânzare cu amănuntul și lista de materiale (BOM)?

Mai trebuie să se răspundă la multe întrebări și probabil că va dura ceva timp până când Microsoft va lansa toate informațiile.

Microsoft va trebui să vizeze piețele mainstream și profesionale în același timp, cu același hardware. În funcție de preț și de BOM, Microsoft și-ar putea folosi baza de utilizatori Xbox, precum și un segment al pieței de jocuri pentru PC, pentru a aduce produsele HoloLens utilizatorilor mainstream. Marketingul unui astfel de produs nu va fi ușor dacă prețul este prea mare, dar baza de utilizatori este acolo - și este dispus să cheltuiască o mulțime de bani pe gadget-uri noi. O abordare generală a pieței ar ajuta, de asemenea, să aducă mai mulți dezvoltatori la bord, extinzând astfel ecosistemul și creând noi cazuri de utilizare.

Dar dacă produsele HoloLens vor avea un preț pentru piața principală, cum va merge Microsoft după piața profesională și cum va câștiga niște bani în acest proces?

Cu ani în urmă obișnuiam să-mi câștig existența cu grafica 3D offline și pot vedea foarte mult potențial în HoloLens. Există o mulțime de utilizatori 3D/CAD și mulți dintre ei ar fi de acord. Înseamnă asta că fiecare designer va putea să ridice un dispozitiv HoloLens la prețuri pentru piața mainstream și să-l folosească pentru muncă? Posibil, dar probabil nu.

Există și alte modalități de comercializare a produselor în acest spațiu. Am acoperit spațiul GPU de ani de zile și în acel timp am învățat ceva sau două despre modul în care funcționează industria. Deși plăcile grafice de ultimă generație pentru jucători primesc toate titlurile, adevăratele vaci de bani pentru Nvidia și AMD sunt soluții profesionale de grafică și calcul. Ei sunt eroii necunoscuți din acest duopol. BOM pentru un card de consum și un card profesional bazat pe același GPU este aproximativ același, dar cardurile profesionale costă mult mai mult, cu un ordin de mărime mai mult. Ele oferă marje uriașe și generează o mulțime de venituri și profit, în ciuda volumelor generale scăzute - puteți verifica orice raport trimestrial de câștig Nvidia pentru mai multe informații.

Microsoft ar putea recurge la o abordare similară. HoloLens ar putea folosi același hardware pentru ambele piețe, să limiteze funcționalitatea modelelor de consum și să o extindă pe produse profesionale prin diferite niveluri de licențiere.

Desigur, toate acestea sunt doar speculații în acest moment - dar așa funcționează această piață. Microsoft nu trebuie să reinventeze roata.