Microsoft HoloLens Review – Überbrückung der Lücke zwischen AR und VR

Microsoft hat eine lange Tradition darin, relativ langweilige Produktankündigungen mit überzeugenden Tech-Demos aufzupeppen, und die Ankündigung von Windows 10 war keine Ausnahme. Der Software-Gigant nutzte die Gelegenheit, um mit der HoloLens, einem futuristischen Headset, das einen Blick in die Zukunft von Augmented Reality (AR) wirft, viel Aufsehen zu erregen. Allerdings hat Microsoft auch eine Tradition spektakulärer Hardware-Flops, die unter dem Ballmer-Regime ihren Höhepunkt erreichte. Erinnerst du dich an das Kin-Telefon? Ich auch nicht.

Die Einführung von HoloLens wird wahrscheinlich aus mehreren Gründen kein solcher Flop sein. Zunächst einmal hat die HoloLens noch einen langen Weg vor sich, bevor sie ein kommerziell brauchbares Gerät wird – es könnte etwa ein paar Quartale oder ein paar Jahre dauern. Zweitens ist das Konzept dahinter solide und baut auf einigen vielversprechenden aufkommenden Branchentrends auf, wie z. B. Wearable Tech und Virtual Reality (VR)-Headsets. Die HoloLens versucht, etwas anders zu sein, indem sie viele Funktionen in einem einzigen Gerät bündelt, aber in diesem Microsoft HoloLens-Test werden wir einen Blick darauf werfen, was bereits da draußen ist und was in Arbeit ist.

Da dies ein Engineering-Blog für VR-Profis und andere Ingenieure ist, werde ich nicht viel Zeit damit verbringen, die Frage „Was ist HoloLens?“ zu beantworten. und den Unterschied zwischen AR und VR erklären. Die Augmented-Reality-Technologie hat eine Reihe potenzieller Anwendungen in verschiedenen Branchen, aber nur begrenzte Anwendungen in der Unterhaltung. Virtual Reality ist eher auf Unterhaltung ausgerichtet, obwohl es auch einige professionelle Anwendungen gibt.

Beide Technologien haben noch viele Einschränkungen, und zahlreiche technische Herausforderungen müssen überwunden werden, um Attraktivität für den Massenmarkt zu erlangen. Dies ist ein schrittweiser Prozess, der eher Jahre als Monate dauern wird. Die Technologie, die benötigt wird, um solche Produkte zu erstellen, ohne die Bank zu sprengen, ist einfach noch nicht fertig, aber sie kommt langsam dorthin.

Werfen wir einen Blick darauf, was da draußen ist und was fehlt.

Hardwareeinschränkungen – Google Glass vs. Oculus Rift vs. Microsoft HoloLens

Google Glass wurde Anfang 2012 angekündigt und ein Jahr später zu einem Preis von 1.500 US-Dollar ausgeliefert. Der hohe Preis bedeutete, dass es einer sehr kleinen Nische vorbehalten war – Early Adopters, die von Googles PR- und Marketingmaschinerie als „Entdecker“ bezeichnet wurden. Das Gerät bot eingeschränkte AR-Funktionalität und enthielt einen kleinen Prismenprojektor mit einer Auflösung von 640 x 360 Pixeln, der von einem veralteten Prozessor angetrieben wurde.

Während es die Öffentlichkeit eine Zeit lang in seinen Bann zog, kann Google Glass kaum als Erfolg bezeichnet werden. App-Entwickler, die unbedingt auf den fahrenden Zug aufspringen wollten, begannen das Interesse zu verlieren, ebenso wie „Entdecker“, die die Modeerscheinung innerhalb weniger Monate zu überwinden schienen. Die neuesten Gerüchte deuten auf eine neue Version von Google Glass mit Intel-Silizium im Inneren hin, daher könnte es für einen Nachruf noch etwas zu früh sein. Wie auch immer, Google Glass war kein großer Erfolg, egal wie man es betrachtet.

Oculus Rift ist derzeit vielleicht das am meisten diskutierte VR-System, aber im Gegensatz zu Google Glass muss es noch eingeführt werden. Oculus VR arbeitet seit Jahren an dem Gerät, und dabei hat das Unternehmen zwei Generationen von Entwicklungskits durchlaufen. Die Verbraucherversion wird voraussichtlich irgendwann im Jahr 2015 mit einer überarbeiteten Spezifikation auf den Markt kommen. Im März 2014 wurde Oculus VR von Facebook für mehr als 2 Milliarden US-Dollar in bar und Facebook-Aktien gekauft.

Samsungs Gear VR bietet einen anderen Ansatz, da es das Galaxy Note 4-Phablet anstelle eines eingebauten Bildschirms verwendet, aber auf einer von Oculus entwickelten Technologie basiert. Ich finde das modulare Konzept interessant, da ein ähnlicher Ansatz mit einer Reihe von Mobilgeräten verschiedener Anbieter verwendet werden könnte, die es den Benutzern ermöglichen würden, die Hardware jedes Mal effektiv zu aktualisieren, wenn sie ein neues Telefon kaufen. Die Vuforia-Plattform von Qualcomm bietet einige vielversprechende Funktionen für mobile Geräte und potenzielle AR/VR-Anwendungen.

Also, was fehlt? Die einfache Antwort könnte Rechenleistung sein, aber es ist ein bisschen komplizierter.

Das Problem bei beiden Konzepten ist, dass sie ihrer Zeit noch voraus sind und die Technik noch Nachholbedarf hat. Microsofts HoloLens wird zwangsläufig unter den gleichen Kinderkrankheiten leiden, aber Microsofts Konzept ist etwas anders und hat daher eine Chance, zumindest einige dieser Probleme zu überwinden.

Google Glass wurde als leichtes Wearable konzipiert, was zu einer Reihe von Kompromissen führte. Das Gerät verfügte über ein einzelnes Display auf einem dicken Prisma vor dem rechten Auge des Benutzers. Die Auflösung war angesichts des Sichtfelds (FOV) sehr begrenzt. Beispielsweise weisen Smartwatch-Displays in der Regel ähnliche vertikale Auflösungen für ein Gerät auf, das nur wenige Grad des Sichtfelds des Benutzers einnimmt. Google Glass basierte auf einem antiquierten System-on-Chip (SoC) und hatte eine begrenzte Akkulaufzeit.

Das Entwerfen mobiler Geräte ist nicht einfach und beinhaltet immer eine Reihe von Kompromissen. Displays mit höherer Auflösung erfordern mehr GPU-Leistung, was die Verwendung größerer SoCs mit leistungsstärkeren GPUs erfordert, die mit einer höheren Last arbeiten, was dann einen größeren Akku erfordert und so weiter. Es ist ein feiner Balanceakt, und ein AR-Headset ist einfach zu klein, um einen großen Akku aufzunehmen, wie er in hochauflösenden Tablets verwendet wird.

Auf den ersten Blick scheint Oculus Rift nicht unter ähnlichen Mängeln an der Hardwarefront zu leiden, da es keine Kompromisse in Bezug auf Akkulaufzeit und Portabilität eingeht. Es ist nicht auf einen integrierten SoC angewiesen, und ein 1080p-Display klingt wünschenswert; aber in Wirklichkeit reicht es für den Fotorealismus bei weitem nicht aus. Das Gerät hat ein sehr großes Sichtfeld und die Pixeldichte ist immer noch unzureichend.

Um dieses Problem zu überwinden, müssten VR-Geräte 4K/UHD-Displays mit höherer Auflösung oder irgendwann in der Zukunft sogar 8K-Displays verwenden. Die Technologie ist fast da, aber sie ist nicht billig und alles andere als tragbar.

Wenn Sie die neuesten AAA-Spiele auf einem 4K-Display mit den höchstmöglichen Detaileinstellungen ausführen möchten, benötigen Sie zwei diskrete High-End-Grafikkarten. Zum Beispiel Nvidia- und AMD-Karten, die auf Flaggschiff-GPUs der Maxwell- und Hawaii-Generation basieren. Um Frame-Tearing zu eliminieren (unter Verwendung von Technologien, die Nvidias G-Sync oder AMDs FreeSync ähneln), benötigen Sie etwas mehr Leistung, und um korrektes 3D für beide Augen zu erzielen, benötigen Sie noch mehr GPU-Leistung.

Das Fazit lautet: Um ein 4K-VR-Gerät mit derzeit verfügbarer Technologie zu betreiben, bräuchten Sie mindestens zwei GPUs mit insgesamt 12-14 Mrd. Transistoren in 28 nm, die 350 W bis 500 W Leistung verbrauchen, CPU und Rest des Systems nicht mitgezählt . Dies ist eine konservative Schätzung, die auf derzeit verfügbaren GPUs und CPUs basiert – und lassen Sie uns nicht einmal die Idee diskutieren, zwei 4K-Bildschirme mit Strom zu versorgen, einen pro Auge.

Nvidias neuestes mobiles SoC, das Tegra K1 64-Bit, das im Google Nexus 9 verwendet wird, verfügt über 192 CUDA-Kerne, die auf der Kepler-Architektur basieren, nicht auf dem effizienteren Maxwell. Die aktuellen diskreten Flaggschiff-Grafikkarten des Unternehmens verfügen über 2048 Maxwell CUDA-Kerne, die mit höheren Taktraten laufen als Kepler-Kerne in mobilen Tegra-SoCs.

Tragbare VR-Geräte mit fotorealistischer Grafik werden in den kommenden Jahren eindeutig nicht verfügbar sein, und selbst kabelgebundene Geräte wie Oculus Rift haben noch einen langen Weg vor sich. Die Gesamtkosten der Plattform sind ein weiteres Problem. Gaming-PCs, die spielbare Bildraten bei 1080p ausgeben können, sind relativ billig, da Mainstream-GPUs schnell genug sind, um die Arbeit zu erledigen. Aber bei 2160p benötigen Sie das Vierfache der GPU-Muskel, unterstützt durch mehr Speicher und eine schnellere CPU.

Es gibt eine andere Möglichkeit, dieses Problem anzugehen, und ich werde später darauf eingehen.

Was hat Microsoft also richtig gemacht?

Erinnern Sie sich an den Oculus Rift-Deal von Facebook, den ich zuvor erwähnt habe? Nur wenige Tage nach der Bekanntgabe stellte sich heraus, dass Microsoft geistiges Eigentum (IP) im Zusammenhang mit Augmented Reality und tragbaren Computern von der Osterhout Design Group (ODG) gekauft hat. Einige der Patente betrafen „durchsichtige augennahe Displaybrillen“ mit einem teilweise durchlässigen optischen Element.

Mit anderen Worten, Microsoft kaufte das IP, das zum Erstellen von HoloLens benötigt wird; und der Deal umfasste Berichten zufolge Dutzende von ODG-Patenten, darunter ein paar Dutzend weitere Patentanmeldungen, die in Bearbeitung sind. Oculus VR soll derweil nur ein einziges Patent haben, das vage „ein Virtual-Reality-Headset“ beschreibt.

Microsoft scheint zu versuchen, das Beste aus beiden Welten herauszuholen – ein weites Sichtfeld, das normalerweise mit VR-Geräten verbunden ist, und eine transparente Anzeigeoberfläche, die für AR-Anwendungen geeignet ist. Der Ansatz sollte es HoloLens ermöglichen, viel weniger Rechenleistung als VR-Geräte zu verbrauchen und gleichzeitig dank des breiten Sichtfelds mehr Funktionalität zu bieten. Anstatt zu versuchen, fotorealistische Inhalte zu rendern, könnte HoloLens aufgrund der begrenzten Deckkraft der angezeigten Inhalte mit einer etwas geringeren Auflösung und Bildqualität davonkommen. Es besteht keine Notwendigkeit, eine Illusion der Realität zu erzeugen, sodass viel weniger Hardware-Overhead erforderlich ist. Viele handelsübliche Technologien könnten es der HoloLens ermöglichen, Aliasing zu reduzieren oder zu eliminieren und gut aussehende Composites zu erzeugen, da der Hintergrund bereits vorhanden ist.

Diese Tatsache schränkt die Attraktivität von HoloLens in der Unterhaltungsnische ein, im Gegensatz zu echten VR-Headsets; Es eröffnet jedoch eine Reihe von Möglichkeiten in anderen Branchen, die von Ingenieurwesen und Gesundheitswesen bis hin zu Architektur und Verteidigung reichen. HoloLens könnte verwendet werden, um medizinisches Fachpersonal, Ingenieure, Bediener von Industriemaschinen, Soldaten und Strafverfolgungsbehörden zu unterstützen.

HoloLens hat jedoch immer noch Anwendungen im Verbraucherbereich. Phil Spencer von Microsoft sagte, HoloLens müsse ein erfolgreiches eigenständiges Produkt sein, und fügte hinzu, dass das Unternehmen bereits nach Möglichkeiten suche, es gemeinsam mit PCs und Xbox One-Konsolen zu verwenden. Das Gerät könnte als Heads-up-Display (HUD) für Gamer oder sogar für Fitnessfans in Fitnessstudios dienen.

HoloLens-Hardware-Rätsel

Microsoft hat die genauen Hardwarespezifikationen nicht bekannt gegeben, daher wissen wir immer noch nicht genau, was uns erwartet. Es gibt kein Wort über Bildschirmauflösung, GPU-GFLOPs, Konnektivität oder Akkulaufzeit. Das lässt viel Raum für Spekulationen, die die Fachpresse gerne mit Kolumnenzoll und Clickbait füllt, offiziell ist aber noch nichts.

Wie gesagt, HoloLens sollte nicht annähernd so viel GPU-Leistung benötigen wie Oculus Rift und ähnliche VR-Produkte. Dies bedeutet jedoch nicht, dass Microsoft mit einem billigen SoC davonkommen kann, wie sie üblicherweise in mobilen Produkten verwendet werden. Microsoft verwendet derzeit eine Reihe von Chips von verschiedenen Anbietern – Qualcomm Snapdragon SoCs mit integriertem 4G/LTE für Mobiltelefone, Intel-Chips für Surface Pro-Tablets (zusammen mit Nvidia SoCs auf nicht mehr existierenden Surface RT-Produkten) zusammen mit benutzerdefinierten AMD-APUs in der Xbox One .

Aufgrund von Leistungsüberlegungen wäre die naheliegendste Wahl ein Snapdragon-SoC, ähnlich denen, die in Lumia-Telefonen verwendet werden. Dies bedeutet nicht, dass HoloLens so leistungsschwach wie Google Glass wäre. HoloLens ist ein viel größeres Gerät mit Platz für einen größeren Akku; und die neuesten Snapdragon-SoCs sind weitaus leistungsfähiger als der in Google Glass verwendete Chipsatz (der deutlich langsamer ist als Chips, die in Smartwatches verwendet werden). Frühe Benchmarks zeigen, dass die Adreno 430-GPU, die in Qualcomms kommenden Flaggschiff-SoCs wie dem Snapdragon 810 verwendet wird, ein Kraftpaket ist, das 4K-Auflösungen verarbeiten und relativ komplexe 3D-Inhalte in 1080p rendern kann.

Es geht nicht nur um die reine Renderleistung. GPUs bieten viel Rechenpotenzial und können für viel mehr als Spiele verwendet werden. Google verwendete den Tegra K1 für Project Tango, das sich auch mit einer Reihe von Technologien befasst, die für AR- oder VR-Geräte sehr nützlich sein könnten – Automatisierung, fahrerlose Autos und so weiter. Ich habe bereits Vuforia erwähnt, und es gibt andere Akteure in der GPU-Industrie, aber Nvidia hat den Vorteil, CUDA-Kerne zu verwenden – es ist seit Jahren Marktführer in den Märkten für professionelle Grafik und GPGPU-Computing.

Wir sollten uns jedoch nicht auf die Denkweise „Was gibt es da draußen“ einlassen. Es wird noch eine Weile dauern, bis die HoloLens in den Handel kommt, und nachfolgende Generationen werden mit noch leistungsfähigerer Hardware ausgestattet sein. Intels neue 14-nm-Atoms kommen bald, während ARM-basierte 14-nm- und 16-nm-SoCs ein paar Quartale später erscheinen sollen. Die neuen nicht planaren Knoten ermöglichen noch mehr Leistung pro Watt und verbessern die Gesamtleistung drastisch, ohne die Batterielebensdauer zu beeinträchtigen.

Streaming als Alternative

Es gibt auch eine Alternative, die ich bereits erwähnt habe – Cloud Computing und Streaming könnten verwendet werden, um komplexe, ressourcenintensive 3D-Inhalte anzuzeigen. Die neuesten SoCs verfügen über 802.11ac Wireless und schnelle LTE-Modems, ausreichend für hochauflösendes Streaming. Der Nachteil dieses Ansatzes, insbesondere von LTE, ist die Verzögerung.

Wenn zusätzliche Inhalte lokal auf einer PC-Workstation oder möglicherweise sogar einer Xbox One gerendert werden, sollte die Verzögerung begrenzt sein, aber das Remote-Cloud-Rendering könnte sich als problematisch erweisen. Nvidia versucht beispielsweise, dieses Problem anzugehen, indem es GRID-Server an strategischen Standorten aufstellt, um die größten Märkte mit Low-Lag-Game-Streaming abzudecken. Nur wenige Millisekunden zusätzliche Verzögerung könnten die Benutzererfahrung in einer AR-Anwendung beeinträchtigen.

Ein mobiler SoC sollte für die meisten alltäglichen Aufgaben wie Skype und einige eingeschränkte Augmented-Reality-Anwendungen ausreichen. Wenn ein Architekt jedoch eine Baustelle betreten und sehen möchte, wie das fertige Gebäude mithilfe von Augmented Reality aussehen wird, muss die HoloLens durch mehr Hardware unterstützt werden; Rendern komplexer Szenen mit Hunderttausenden oder Millionen von Polygonen, fortschrittlichen Lichteffekten usw.

Der Vorteil ist, dass HoloLens viele Funktionen sofort einsatzbereit bieten könnte, mit einer relativ leistungsstarken integrierten GPU, die viele alltägliche Aufgaben bewältigen kann, wie z. B. hochauflösendes Video-Streaming, Surfen und sogar Gelegenheitsspiele. Auf der anderen Seite könnten Profis 802.11ac oder LTE verwenden, um komplexere Inhalte zu streamen, die remote gerendert werden.

Microsoft könnte praktisch dieselbe Hardwareplattform für Heimanwender und Profis verwenden, wobei letztere lokales oder Cloud-Streaming für fortgeschrittenere, ressourcenintensivere Aufgaben verwenden.

Gibt es einen Anwendungsfall und einen Markt für HoloLens?

Microsoft zeigte die HoloLens in einer Reihe verschiedener Szenarien. Obwohl die Demos recht interessant waren, zeigten sie nicht gerade einen realistischen und kommerziell tragfähigen Anwendungsfall für das neue Gerät.

Was mir an HoloLens gefällt, ist die Tatsache, dass es auf halbem Weg zwischen echten Wearables wie Google Glass und kabelgebundenen VR-Lösungen wie Oculus Rift liegt. HoloLens muss nicht leicht und tragbar genug sein, um auf der Straße getragen zu werden, aber gleichzeitig muss sie nicht an einen Computer oder eine externe Stromquelle angeschlossen sein – das Beste aus beiden Welten. Ich mag auch die Tatsache, dass Microsoft sich dafür entscheidet, zu führen, anstatt zu folgen. HoloLens unterscheidet sich von bestehenden Konzepten und Produkten; es ist innovativ, futuristisch und originell – ein Hauch frischer Luft aus Redmond.

Dieser Ansatz wirft jedoch auch eine Reihe wichtiger Fragen zum Anwendungsfall von HoloLens und der Größe des Marktes auf. Es kann kein Display wie VR-Lösungen ersetzen, ist aber aufgrund seiner schieren Masse und seines Aussehens nicht in alltäglichen Situationen einsetzbar. Während Sie vielleicht einige Pendler und Sportler sehen, die Smart Glasses verwenden, werden Sie wahrscheinlich keine Skifahrer oder Jogger sehen, die ein HoloLens-Headset tragen.

Was könnten Mainstream-Benutzer mit HoloLens tun? Welche Softwareplattformen und Betriebssysteme werden unterstützt? Was ist mit professionellen Bewerbungen? Was ist mit der plattformübergreifenden Funktionalität von HoloLens, den Hardwarespezifikationen, dem Verkaufspreis und der Stückliste (BOM)?

Viele Fragen müssen noch beantwortet werden, und es wird wahrscheinlich noch eine Weile dauern, bis Microsoft alle Informationen veröffentlicht.

Microsoft wird Mainstream- und professionelle Märkte gleichzeitig mit derselben Hardware ansprechen müssen. Je nach Preis und BOM könnte Microsoft seine Xbox-Benutzerbasis sowie ein Segment des PC-Gaming-Marktes nutzen, um HoloLens-Produkte den Mainstream-Benutzern anzubieten. Die Vermarktung eines solchen Produkts wird nicht einfach, wenn der Preis zu hoch ist, aber die Nutzerbasis ist da – und sie ist bereit, viel Geld für neue Gadgets auszugeben. Ein Mainstream-Marktansatz würde auch dazu beitragen, mehr Entwickler an Bord zu holen und so das Ökosystem zu erweitern und neue Anwendungsfälle zu schaffen.

Aber wenn HoloLens-Produkte zwangsläufig für den Mainstream-Markt angeboten werden, wie wird Microsoft den professionellen Markt verfolgen und dabei etwas Geld verdienen?

Vor Jahren habe ich meinen Lebensunterhalt mit Offline-3D-Grafiken verdient, und ich sehe viel Potenzial in HoloLens. Es gibt viele 3D/CAD-Anwender und viele von ihnen würden dem zustimmen. Bedeutet dies, dass jeder Designer ein HoloLens-Gerät zu einem Preis für den Mainstream-Markt erwerben und für die Arbeit verwenden kann? Möglich, aber wahrscheinlich nicht.

Es gibt andere Möglichkeiten, Produkte in diesem Bereich zu vermarkten. Ich habe den GPU-Bereich seit Jahren abgedeckt und in dieser Zeit habe ich ein oder zwei Dinge darüber gelernt, wie die Branche funktioniert. Obwohl High-End-Grafikkarten für Gamer alle Schlagzeilen machen, sind die wahren Geldkühe für Nvidia und AMD professionelle Grafik- und Rechenlösungen. Sie sind die unbesungenen Helden in diesem Duopol. Die Stückliste für eine Consumer-Karte und eine professionelle Karte, die auf derselben GPU basieren, ist ungefähr gleich, aber professionelle Karten kosten viel mehr, eine Größenordnung mehr. Sie liefern enorme Gewinnspannen und generieren viel Umsatz und Gewinn, trotz des geringen Gesamtvolumens – weitere Informationen finden Sie in jedem vierteljährlichen Verdienstbericht von Nvidia.

Microsoft könnte auf einen ähnlichen Ansatz zurückgreifen. HoloLens könnte die gleiche Hardware für beide Märkte verwenden, die Funktionalität bei Verbrauchermodellen einschränken und sie durch verschiedene Lizenzstufen auf professionelle Produkte erweitern.

Natürlich ist das an dieser Stelle alles nur Spekulation – aber so funktioniert dieser Markt. Microsoft muss das Rad nicht neu erfinden.