Microsoft HoloLens Review - Combler le fossé entre AR et VR

Microsoft a une longue tradition de pimenter les annonces de produits relativement ennuyeuses avec des démos technologiques convaincantes, et l'annonce de Windows 10 n'a pas fait exception. Le géant du logiciel a profité de l'occasion pour créer un buzz autour du HoloLens, un casque futuriste qui offre un aperçu de l'avenir de la réalité augmentée (AR). Cependant, Microsoft a également une tradition de flops matériels spectaculaires, qui ont culminé sous le régime Ballmer. Vous vous souvenez du téléphone Kin ? Moi non plus.

L'introduction de HoloLens ne sera probablement pas un tel flop pour un certain nombre de raisons. Tout d'abord, l'HoloLens a encore un long chemin à parcourir avant de devenir un appareil commercialement viable - cela pourrait prendre environ quelques trimestres, voire quelques années. Deuxièmement, le concept sous-jacent est solide et s'appuie sur quelques tendances émergentes prometteuses de l'industrie, telles que la technologie portable et les casques de réalité virtuelle (VR). HoloLens essaie d'être quelque peu différent en regroupant de nombreuses fonctionnalités dans un seul appareil, mais dans cette revue Microsoft HoloLens, nous examinerons ce qui existe déjà et ce qui est en cours.

Comme il s'agit d'un blog d'ingénierie conçu pour les professionnels de la réalité virtuelle et d'autres ingénieurs, je ne passerai pas beaucoup de temps à répondre à la question "Qu'est-ce que HoloLens ?" et expliquer la différence entre AR et VR. La technologie de réalité augmentée a une gamme d'applications potentielles dans diverses industries, mais des applications limitées dans le divertissement. La réalité virtuelle est plus orientée vers le divertissement, bien qu'elle ait également des applications professionnelles.

Les deux technologies ont encore de nombreuses limites et de nombreux défis techniques doivent être surmontés afin de gagner l'attrait du marché de masse. Il s'agit d'un processus graduel qui prendra des années plutôt que des mois. La technologie nécessaire pour créer de tels produits sans se ruiner n'est tout simplement pas prête, mais elle y arrive lentement.

Jetons un coup d'œil à ce qui existe et à ce qui manque.

Limitations matérielles - Google Glass contre Oculus Rift contre Microsoft HoloLens

Google Glass a été annoncé au début de 2012 et a commencé à être expédié un an plus tard au prix de 1 500 $. Le prix élevé signifiait qu'il était réservé à une très petite niche - les premiers utilisateurs décrits comme des "explorateurs" par la machine de relations publiques et de marketing de Google. L'appareil offrait des fonctionnalités AR limitées et contenait un petit projecteur à prisme avec une résolution de 640 x 360 pixels, alimenté par un processeur obsolète.

S'il a réussi à captiver le public pendant un certain temps, Google Glass peut difficilement être décrit comme un succès. Les développeurs d'applications qui souhaitaient prendre le train en marche ont commencé à perdre tout intérêt, ainsi que les "explorateurs" qui semblaient surmonter la mode en quelques mois. Les dernières rumeurs font état d'une nouvelle version de Google Glass avec du silicium Intel à l'intérieur, il est donc peut-être un peu trop tôt pour une nécrologie. Quoi qu'il en soit, Google Glass n'a pas été un grand succès, peu importe comment vous le regardez.

Oculus Rift est peut-être le système VR dont on parle le plus en ce moment, mais contrairement à Google Glass, il n'a pas encore été lancé. Oculus VR travaille sur l'appareil depuis des années et, ce faisant, la société a traversé deux générations de kits de développement. La version grand public devrait être lancée en 2015, avec une spécification révisée. En mars 2014, Oculus VR a été acheté par Facebook pour plus de 2 milliards de dollars en espèces et en actions Facebook.

Le Gear VR de Samsung offre une approche différente, car il utilise le phablet Galaxy Note 4 au lieu d'un écran intégré, mais il s'appuie sur une technologie développée par Oculus. Je trouve le concept modulaire intéressant, car une approche similaire pourrait être utilisée avec une gamme d'appareils mobiles de différents fournisseurs qui permettraient aux utilisateurs de mettre à niveau efficacement le matériel chaque fois qu'ils ont un nouveau téléphone. La plate-forme Vuforia de Qualcomm propose des fonctionnalités prometteuses pour les appareils mobiles et les applications AR/VR potentielles.

Alors, que manque-t-il ? La réponse simple pourrait être la puissance de traitement, mais c'est un peu plus compliqué que cela.

Le problème avec les deux concepts est qu'ils sont toujours en avance sur leur temps et que la technologie doit encore rattraper son retard. L'HoloLens de Microsoft est susceptible de souffrir des mêmes problèmes de démarrage, mais le concept de Microsoft est quelque peu différent et a donc une chance de surmonter au moins certains de ces problèmes.

Google Glass a été conçu comme un portable léger, ce qui a entraîné un certain nombre de compromis. L'appareil comportait un seul écran sur un prisme épais devant l'œil droit de l'utilisateur. La résolution était très limitée compte tenu du champ de vision (FOV). Par exemple, les écrans des montres intelligentes ont tendance à présenter des résolutions verticales similaires pour un appareil qui n'occupe que quelques degrés du champ de vision de l'utilisateur. Google Glass était basé sur un système sur puce (SoC) désuet et avait une autonomie de batterie limitée.

Concevoir des appareils mobiles n'est pas facile et implique toujours un certain nombre de compromis. Les écrans à résolution plus élevée nécessitent plus de puissance GPU, ce qui nécessite l'utilisation de SoC plus gros avec des GPU plus puissants fonctionnant à une charge plus élevée, ce qui nécessite alors une batterie plus grande, etc. C'est un exercice d'équilibre délicat, et un casque AR est tout simplement trop petit pour accueillir une grosse batterie comme celles utilisées dans les tablettes haute résolution.

À première vue, l'Oculus Rift ne semble pas souffrir de lacunes similaires sur le plan matériel, car il n'a pas de compromis pour la durée de vie de la batterie et la portabilité. Il ne repose pas sur un SoC intégré et un écran 1080p semble souhaitable ; mais, en réalité, ce n'est pas assez pour le photoréalisme. L'appareil a un champ de vision très large et la densité de pixels est encore insuffisante.

Pour surmonter ce problème, les appareils VR devraient utiliser des écrans 4K/UHD à plus haute résolution, voire des écrans 8K à un moment donné dans le futur. La technologie est presque là, mais elle n'est pas bon marché et est tout sauf portable.

Si vous souhaitez exécuter les derniers jeux AAA sur un écran 4K avec les paramètres de détail les plus élevés possibles, vous avez besoin de deux cartes graphiques discrètes haut de gamme. Par exemple, les cartes Nvidia et AMD basées sur les GPU phares des générations Maxwell et Hawaii. Pour éliminer le déchirement du cadre (en utilisant des technologies similaires à G-Sync de Nvidia ou FreeSync d'AMD), vous avez besoin d'un peu plus de puissance, et pour faire une 3D appropriée pour les deux yeux, vous avez besoin d'encore plus de puissance GPU.

L'essentiel est le suivant : pour alimenter un appareil 4K VR utilisant la technologie actuellement disponible, vous auriez besoin d'au moins deux GPU avec un total de 12 à 14 milliards de transistors en 28 nm, consommant de 350 W à 500 W de puissance, sans compter le CPU et le reste du système. . Il s'agit d'une estimation prudente, basée sur les GPU et les CPU actuellement disponibles - et ne discutons même pas de l'idée d'alimenter deux écrans 4K, un par œil.

Le dernier SoC mobile de Nvidia, le Tegra K1 64 bits utilisé dans le Google Nexus 9, comprend 192 cœurs CUDA basés sur l'architecture Kepler, et non le Maxwell plus efficace. Les cartes graphiques discrètes phares actuelles de la société arborent 2048 cœurs Maxwell CUDA fonctionnant à des horloges plus élevées que les cœurs Kepler dans les SoC mobiles Tegra.

Les appareils VR portables avec des graphismes photoréalistes sont clairement indisponibles pour les années à venir, et même les appareils câblés comme Oculus Rift ont encore un long chemin à parcourir. Le coût global de la plate-forme est une autre préoccupation. Les PC de jeu capables de pomper des fréquences d'images jouables à 1080p sont relativement bon marché, car les GPU traditionnels sont assez rapides pour faire le travail. Mais à 2160p, vous avez besoin de quatre fois plus de muscle GPU, soutenu par plus de mémoire et un processeur plus rapide.

Il y a une autre façon d'aborder ce problème, et j'y reviendrai plus tard.

Alors, qu'est-ce que Microsoft a bien fait ?

Vous vous souvenez de l'offre Oculus Rift de Facebook que j'ai mentionnée plus tôt ? Quelques jours seulement après son annonce, il est apparu que Microsoft avait acheté des actifs de propriété intellectuelle (PI) liés à la réalité augmentée et aux ordinateurs portables à Osterhout Design Group (ODG). Certains des brevets couvraient des "lunettes à affichage proche de l'œil transparent" avec un élément optique partiellement émetteur.

En d'autres termes, Microsoft a acheté l'IP nécessaire pour créer HoloLens ; et l'accord aurait couvert des dizaines de brevets ODG, y compris quelques dizaines de demandes de brevet supplémentaires en cours. Pendant ce temps, Oculus VR n'aurait qu'un seul brevet, qui décrit vaguement "un casque de réalité virtuelle".

Microsoft semble essayer d'obtenir le meilleur des deux mondes - un large champ de vision généralement associé aux appareils VR et une surface d'affichage transparente adaptée aux applications AR. L'approche devrait permettre à HoloLens d'utiliser beaucoup moins de puissance de traitement que les appareils VR, tout en offrant plus de fonctionnalités grâce au large FOV. Au lieu d'essayer de rendre un contenu photoréaliste, HoloLens pourrait s'en tirer avec une résolution et une qualité d'image légèrement inférieures en raison de l'opacité limitée du contenu affiché. Il n'est pas nécessaire de créer une illusion de réalité, il y a donc beaucoup moins de surcharge matérielle impliquée. De nombreuses technologies prêtes à l'emploi pourraient permettre à HoloLens de réduire ou d'éliminer le crénelage et de générer de beaux composites, puisque la toile de fond est déjà là.

Ce fait limite l'attrait d'HoloLens dans le créneau du divertissement, par opposition aux véritables casques VR ; mais cela ouvre un certain nombre de possibilités dans d'autres secteurs, allant de l'ingénierie et de la santé à l'architecture et à la défense. HoloLens pourrait être utilisé pour aider les professionnels de la santé, les ingénieurs, les opérateurs de machines industrielles, les soldats et les forces de l'ordre.

Cependant, HoloLens a toujours des applications dans l'espace grand public. Phil Spencer de Microsoft a déclaré que HoloLens devait être un produit autonome performant, ajoutant que la société cherchait déjà des moyens de l'utiliser à l'unisson avec les PC et les consoles Xbox One. L'appareil pourrait servir d'affichage tête haute (HUD) pour les joueurs, ou même pour les amateurs de fitness dans les gymnases.

L'énigme du matériel HoloLens

Microsoft n'a pas révélé les spécifications matérielles exactes, nous ne savons donc toujours pas à quoi nous attendre. Il n'y a aucun mot sur la résolution d'affichage, les GFLOP GPU, la connectivité ou la durée de vie de la batterie. Cela laisse beaucoup de place à la spéculation, que la presse technique se fait un plaisir de remplir de colonnes et de clickbait, mais rien n'est encore officiel.

Comme je l'ai dit, HoloLens ne devrait pas nécessiter autant de puissance GPU que l'Oculus Rift et les produits VR similaires. Cependant, cela ne signifie pas que Microsoft peut s'en tirer avec un SoC bon marché, comme ceux couramment utilisés dans les produits mobiles. Microsoft utilise actuellement une gamme de puces de différents fournisseurs – SoC Qualcomm Snapdragon avec 4G/LTE intégré pour les téléphones mobiles, puces Intel pour les tablettes Surface Pro (ainsi que les SoC Nvidia sur les anciens produits Surface RT), ainsi que des APU AMD personnalisés dans la Xbox One .

Pour des raisons de puissance, le choix le plus évident serait un SoC Snapdragon, similaire à ceux utilisés dans les téléphones Lumia. Cela ne signifie pas que HoloLens serait aussi sous-alimenté que Google Glass. HoloLens est un appareil beaucoup plus grand, avec de la place pour une batterie plus grosse ; et, les derniers SoC Snapdragon sont beaucoup plus puissants que le chipset utilisé dans Google Glass (qui est nettement plus lent que les puces utilisées dans les smartwatches). Les premiers benchmarks indiquent que le GPU Adreno 430 utilisé dans les prochains SoC phares de Qualcomm, comme le Snapdragon 810, est une centrale électrique capable de gérer des résolutions 4K et de restituer un contenu 3D relativement complexe en 1080p.

Il ne s'agit pas seulement de performances de rendu pures. Les GPU offrent un grand potentiel de calcul et peuvent être utilisés pour bien plus que les jeux. Google a utilisé le Tegra K1 pour Project Tango, qui traite également un certain nombre de technologies qui pourraient être très utiles pour les appareils AR ou VR - automatisation, voitures sans conducteur, etc. J'ai déjà mentionné Vuforia, et il y a d'autres acteurs dans l'industrie du GPU, mais Nvidia a l'avantage d'utiliser des cœurs CUDA - c'est un leader du marché des graphiques professionnels et des marchés de calcul GPGPU depuis des années.

Cependant, nous ne devrions pas être enfermés dans l'état d'esprit « ce qui existe ». Il faudra un certain temps avant que HoloLens ne soit mis en vente, et les générations suivantes ne manqueront pas de proposer un matériel encore plus puissant. Les nouveaux Atoms 14 nm d'Intel arrivent bientôt, tandis que les SoC 14 nm et 16 nm basés sur ARM devraient apparaître quelques trimestres plus tard. Les nouveaux nœuds non planaires permettront encore plus de performances par watt, améliorant considérablement les performances globales sans nuire à la durée de vie de la batterie.

Le streaming comme alternative

Il existe également une alternative que j'ai mentionnée plus tôt - le cloud computing et le streaming pourraient être utilisés pour afficher un contenu 3D complexe et gourmand en ressources. Les derniers SoC sont équipés de modems sans fil 802.11ac et LTE rapides, suffisants pour le streaming haute résolution. L'inconvénient de cette approche, en particulier LTE, est le décalage.

Si du contenu supplémentaire est rendu localement, sur un poste de travail PC ou éventuellement même une Xbox One, le décalage devrait être limité, mais le rendu dans le cloud à distance pourrait s'avérer problématique. Par exemple, Nvidia tente de résoudre ce problème en installant des serveurs GRID à des endroits stratégiques, dans le but de couvrir les plus grands marchés avec un streaming de jeux à faible décalage. Quelques millisecondes de décalage supplémentaire pourraient compromettre l'expérience utilisateur dans une application AR.

Un SoC mobile devrait suffire pour la plupart des tâches quotidiennes, telles que Skype et certaines applications de réalité augmentée limitées. Cependant, si un architecte veut entrer dans un chantier de construction et voir à quoi ressemblera le bâtiment fini en utilisant la réalité augmentée, le HoloLens devra être soutenu par plus de matériel ; rendre des scènes complexes avec des centaines de milliers ou des millions de polygones, des effets d'éclairage avancés, etc.

L'avantage est que HoloLens pourrait offrir de nombreuses fonctionnalités prêtes à l'emploi, avec un GPU intégré relativement puissant capable de gérer de nombreuses tâches quotidiennes, telles que le streaming vidéo haute résolution, la navigation et même les jeux occasionnels. D'autre part, les professionnels pourraient utiliser 802.11ac ou LTE pour diffuser du contenu plus complexe, rendu à distance.

Microsoft pourrait pratiquement utiliser la même plate-forme matérielle pour les utilisateurs à domicile et les professionnels, ces derniers utilisant le streaming local ou cloud pour des tâches plus avancées et gourmandes en ressources.

Existe-t-il un cas d'utilisation et un marché pour HoloLens ?

Microsoft a présenté HoloLens dans un certain nombre de scénarios différents. Bien que les démos aient été assez intéressantes, elles n'ont pas exactement défini un cas d'utilisation réaliste et commercialement viable pour le nouvel appareil.

Ce que j'aime chez HoloLens, c'est le fait qu'il se situe à mi-chemin entre les vrais appareils portables, comme Google Glass, et les solutions VR filaires, comme Oculus Rift. HoloLens n'a pas besoin d'être suffisamment léger et portable pour être porté dans la rue, mais en même temps, il n'a pas besoin d'être connecté à un ordinateur ou à une source d'alimentation externe - le meilleur des deux mondes. J'aime aussi le fait que Microsoft choisisse de diriger plutôt que de suivre. HoloLens diffère des concepts et produits existants ; c'est innovant, futuriste et original - une bouffée d'air frais de Redmond.

Cependant, cette approche soulève également un certain nombre de questions importantes concernant le cas d'utilisation d'HoloLens et la taille du marché. Il ne peut pas remplacer un écran comme les solutions VR, mais il ne peut pas être utilisé dans des situations quotidiennes en raison de son encombrement et de son apparence. Bien que vous puissiez voir certains navetteurs et athlètes utiliser des lunettes intelligentes, vous ne verrez probablement pas de skieurs ou de joggeurs portant un casque HoloLens.

Que pourraient faire les utilisateurs grand public avec HoloLens ? Quels types de plates-formes logicielles et de systèmes d'exploitation seront pris en charge ? Qu'en est-il des candidatures professionnelles ? Qu'en est-il de la fonctionnalité multiplateforme HoloLens, des spécifications matérielles, du prix de vente au détail et de la nomenclature ?

De nombreuses questions restent encore sans réponse, et il faudra probablement un certain temps avant que Microsoft ne publie toutes les informations.

Microsoft devra cibler à la fois les marchés grand public et professionnels, avec le même matériel. En fonction du prix et de la nomenclature, Microsoft pourrait tirer parti de sa base d'utilisateurs Xbox, ainsi que d'un segment du marché des jeux sur PC, pour proposer les produits HoloLens aux utilisateurs grand public. La commercialisation d'un tel produit ne sera pas facile si le prix est trop élevé, mais la base d'utilisateurs est là - et elle est prête à dépenser beaucoup d'argent pour de nouveaux gadgets. Une approche de marché grand public aiderait également à impliquer davantage de développeurs, élargissant ainsi l'écosystème et créant de nouveaux cas d'utilisation.

Mais si les produits HoloLens doivent forcément être tarifés pour le marché grand public, comment Microsoft va-t-il s'attaquer au marché professionnel et gagner de l'argent dans le processus ?

Il y a des années, je gagnais ma vie dans les graphismes 3D hors ligne, et je vois beaucoup de potentiel dans HoloLens. Il y a beaucoup d'utilisateurs 3D/CAO et beaucoup d'entre eux seraient d'accord. Cela signifie-t-il que chaque concepteur pourra choisir un appareil HoloLens dont le prix est adapté au marché grand public et l'utiliser pour le travail ? Peut-être, mais probablement pas.

Il existe d'autres moyens de commercialiser des produits dans cet espace. Je couvre l'espace GPU depuis des années, et pendant ce temps, j'ai appris une ou deux choses sur le fonctionnement de l'industrie. Bien que les cartes graphiques haut de gamme pour les joueurs fassent la une des journaux, les vraies vaches à lait pour Nvidia et AMD sont les solutions graphiques et informatiques professionnelles. Ils sont les héros méconnus de ce duopole. La nomenclature d'une carte grand public et d'une carte professionnelle basée sur le même GPU est à peu près la même, mais les cartes professionnelles coûtent beaucoup plus cher, un ordre de grandeur de plus. Ils offrent d'énormes marges et génèrent beaucoup de revenus et de bénéfices, malgré de faibles volumes globaux - vous pouvez consulter n'importe quel rapport trimestriel sur les revenus de Nvidia pour plus d'informations.

Microsoft pourrait recourir à une approche similaire. HoloLens pourrait utiliser le même matériel pour les deux marchés, limiter les fonctionnalités sur les modèles grand public et l'étendre aux produits professionnels via différents niveaux de licence.

Bien sûr, tout cela n'est que spéculation à ce stade - mais c'est ainsi que fonctionne ce marché. Microsoft n'a pas à réinventer la roue.