Réalité augmentée vs réalité virtuelle vs réalité mixte - Un guide d'introduction

Bien qu'ils aient beaucoup de choses en commun, VR, AR et MR ne sont pas la même chose. Nous discutons des différenciateurs clés, des forces motrices et des cas d'utilisation de ces trois technologies connexes prometteuses.

La technologie d'aujourd'hui a parcouru un long chemin depuis l'époque des minces disques en carton de View-Master contenant sept paires 3D stéréoscopiques de petites photographies couleur, jusqu'à la réalité virtuelle d'aujourd'hui et son proche cousin AR. En fait, grâce aux investissements massifs de géants comme Facebook, Google, Samsung et bien d'autres pariant sur des rendements à haute valeur ajoutée, la réalité virtuelle et augmentée se retrouvent de plus en plus fréquemment dans nos fils d'actualité.

Dans cet article, nous commençons par mettre en évidence les nuances entre VR, AR et MR, puis faisons un rapide voyage dans le temps pour voir comment la VR/AR a évolué. Enfin, nous évaluons comment ils s'intègrent dans la réalité d'aujourd'hui et comment ils peuvent affecter celle de demain.

Qu'est-ce que la réalité virtuelle (VR) ?

La réalité virtuelle, ou VR, est une expérience simulée et immersive projetée par un appareil dans la vue de l'utilisateur. Imaginez-vous en train de descendre les Champs-Elisee (Paris), tout en restant assis dans votre sous-sol à San Francisco. Tout ce dont vous avez besoin est un casque vous projetant dans une simulation via un viseur. C'est exactement ce que promet la réalité virtuelle, et bien plus encore.

Comment fonctionne la réalité virtuelle ?

Certains d'entre vous se souviennent peut-être de l'expérience passionnante d'utiliser le View-Master de Mattel, qui a été introduit dans les années 1960. La réalité virtuelle d'aujourd'hui est la version moderne de cet effet de visite stéréoscopique : elle nécessite un ensemble de lentilles à l'intérieur d'une fenêtre sur un casque et un appareil monté sur lequel l'expérience est stockée ou calculée.

De l'observation pure à l'immersion complète, l'éventail des capacités VR varie en fonction de l'appareil et du type de casque utilisé. L'utilisation d'une télécommande synchronisée avec le casque monté permet à l'utilisateur d'interagir avec des objets 3D dans l'espace, au sein de l'expérience, que ce soit pour des jeux VR ou des interfaces et applications virtuelles.

La brève histoire de la réalité virtuelle et son évolution dans le temps

Laissant un instant de côté la technicité de la réalité virtuelle, et se concentrant sur l'expérience immersive à 360° dans laquelle elle vise à nous projeter, nous pourrions avancer que la réalité virtuelle est née des « peintures murales (ou peintures panoramiques) à 360 degrés du XIXe siècle, » comme le déclare la Virtual Reality Society dans son histoire de la réalité virtuelle. Nous sommes passés d'un premier simulateur de vol (1929) au premier écran monté sur tête VR de Morton en 1960, à Neo découvrant le monde entier comme une simulation à l'intérieur de The Matrix en 1999.

Quelles entreprises dominent le marché de la réalité virtuelle aujourd'hui ?

Avance rapide jusqu'en 2014, où Google a lancé un casque de bricolage grand public qui utilise un smartphone pour piloter l'expérience VR : Google Cardboard. Samsung a suivi l'année suivante avec leur Gear VR, et la nouvelle course à la réalité virtuelle était officiellement lancée. Officiellement acquis en juin 2014, Oculus VR a rejoint la famille Facebook pour accélérer son objectif de domination dans le spectre haut de gamme du casque de réalité virtuelle.

Qu'est-ce que la réalité augmentée (RA) ?

Comme son nom l'indique, la réalité augmentée, ou RA, ajoute à notre perception du monde en superposant des graphiques, des images ou un ensemble de données interactives générés par ordinateur.

Comment fonctionne la réalité augmentée ?

À ce jour, AR ne nécessite qu'un smartphone avec un appareil photo et une application AR. Deux éléments clés qui le font fonctionner sont la capacité de la caméra à capturer l'environnement qui vous entoure lorsque vous vous déplacez et le logiciel qui calcule et projette certains visuels ou contenus générés par ordinateur.

Un bon exemple de cela en action est la récente application AR d'IKEA qui permet à quiconque d'imaginer comment n'importe quelle pièce ou espace se sentirait avec certains meubles de la marque.

Les designers et les architectes pourraient clairement bénéficier de cette nouvelle façon de créer des objets grandeur nature dans un contexte réel. « Aujourd'hui, la technologie a rattrapé notre ambition. La réalité augmentée nous permet de redéfinir une fois de plus l'expérience de la vente au détail de meubles, dans notre quête incessante de créer une vie quotidienne meilleure pour tous, partout », déclare Michael Valdsgaard, responsable de la transformation numérique chez Inter IKEA Systems.

Une brève histoire de la RA

Du lancement du premier marqueur de ligne jaune virtuel lors d'un match en direct de la NFL en 1998 au chevauchement des données cartographiques pour aider les simulations de vol de la NASA, la réalité augmentée a vécu en dehors de la science-fiction pendant de nombreuses décennies.

En 1974, Myron Kruger a combiné des projecteurs et des caméras vidéo dans un environnement interactif. C'était la naissance de la réalité augmentée telle que nous la connaissons aujourd'hui.

Plus récemment, la RA a fait un grand pas vers une adoption plus large lors de la WWDC 17 d'Apple lorsque le développement de la RA a été présenté au grand public avec ARKit, un cadre de développement pour les applications de réalité augmentée créées pour les iPhones et les iPads.

ARkit contre ARCore – Le combat entre Apple et Google pour la domination de la RA

L'ARKit d'Apple pour iOS 11 promet de démocratiser le développement de contenu AR et la consommation de masse. C'est une réponse directe à l'ARCore de Google qui a l'avantage de tirer parti de ses connaissances en étant également dans l'espace VR, contrairement à Apple. Les cadres de conception et de développement AR promettent de simplifier et d'accélérer le processus de création et de mettre la technologie entre les mains de millions de personnes utilisant déjà des téléphones Android et iOS.

Comme les applications de réalité augmentée sont encore nouvelles sur le marché de masse, il est trop tôt pour dire à quel point ces kits de développement sont vraiment différents, sauf qu'ils sont chacun spécifiques à leurs propres systèmes d'exploitation et publics principaux.

Maintenant que les deux entreprises technologiques les plus importantes - qui contrôlent à elles seules 99 % du marché des smartphones - ont fait un tel pas public vers la réalité augmentée, nous devrions être prêts à voir les industries être à nouveau perturbées.

Qu'en est-il de la réalité mixte (MR) ?

La réalité mixte est un hybride de VR et AR et vise à offrir le meilleur des deux mondes. Par exemple, alors qu'il utilise un casque comme la réalité virtuelle, voyant à travers une fenêtre ou un verre translucide, il projette également des visuels au-dessus de notre environnement.

Ce qui distingue MR, c'est son aspect hautement interactif et le rendu réaliste de la projection qu'il ajoute à notre environnement. Au lieu de dépendre uniquement des télécommandes ou des écrans de téléphone, nous pouvons interagir avec le contenu immersif en utilisant des gestes naturels du corps et des doigts.

Apple et Google ouvrent clairement la voie à la technologie AR, mais le paysage MR actuel favorise Microsoft (HoloLens) et a massivement financé Magic Leap (jusqu'à présent une démonstration de concept uniquement).

Microsoft HoloLens et Magic Leap – Les deux rois de la course à la réalité mixte

Microsoft HoloLens

Malgré l'échec commercial de Google Glass, Microsoft n'a pas hésité à essayer son propre "ordinateur holographique" dans le jeu MR. Le nom "HoloLens" vient de l'expérience de base "vous permettant de vous engager avec votre contenu numérique et d'interagir avec les hologrammes dans le monde qui vous entoure".

Saut magique

En tant que l'une des startups de pré-produit les plus financées, cette entreprise soutenue par Google est également l'un des projets les plus secrets de l'industrie technologique. Le PDG de Magic Leap, Rony Abovitz, l'appelle "la réalité cinématographique - un changement complet dans l'informatique visuelle". Cette entreprise de technologie de réalité mixte relève le défi de la conception d'environnements interactifs en tirant parti du meilleur des systèmes de réalité virtuelle et augmentée.

Bien qu'elles n'aient pas encore été rendues publiques, les lunettes holographiques utilisent le Dynamic Digitized Lightfield Signal, qui projette des images directement dans l'œil et « trompe » le cerveau en lui faisant croire que c'est réel. Le résultat est une expérience augmentée plus riche et plus crédible.

Comment la RV, la RA et la MR redéfinissent-elles notre façon de voir et d'expérimenter le monde ?

VR pour le divertissement et la consommation de médias de masse

L'industrie du divertissement est l'un des gagnants évidents de l'émergence de la réalité virtuelle. Lego Star Wars 360 Experience est un exemple de grande adoption et mise en œuvre de la réalité virtuelle, permettant aux téléspectateurs de vivre la narration d'une manière totalement différente.

En annonçant le tout premier casque VR autonome (ne nécessitant pas de téléphone ou d'ordinateur pour y être connecté), le géant de la technologie Facebook passe à l'offensive avec son plan de démocratisation de la VR.

La RA réinvente Nintendo, une entreprise centenaire, presque du jour au lendemain

Avec le succès explosif de Pokemon Go en 2016, le monde a eu son premier aperçu de la façon dont la réalité augmentée pouvait littéralement « déplacer » notre réalité en l'augmentant avec de petits monstres apparaissant et sortant de nos écrans de smartphone.

Réalité mixte. Réalité fusionnée ? Sentiments partagés.

Avec des distinctions peu claires de ses cousins ​​​​VR et AR, la réalité mixte a du mal à définir son avenir.

Tout comme la réalité virtuelle, MR utilise un casque pour lancer l'expérience. Mais les appareils de réalité mixte sont différents du matériel VR typique car ils utilisent des lunettes translucides montées comme Google Glass qui nous permettent de rester ancrés dans le monde réel - la réalité virtuelle est mélangée à la réalité réelle.

Comme AR, MR superpose le contenu numérique et les simulations sur ce que nous verrions normalement. Mais les expériences de réalité mixte vous permettent d'interagir physiquement avec la simulation d'une manière que la réalité augmentée ne peut pas… pour le moment. Et au lieu de dépendre uniquement de l'écran de votre téléphone, vous pouvez utiliser votre corps et vos télécommandes pour vous engager avec l'environnement de manière plus interactive.

Le paysage VR, AR et MR en chiffres

Afin de vraiment reprendre et d'atteindre une adoption plus large, la traction financière sera un indicateur clé de la traction à la fois technologique et expérientielle.

Soutenu par des investisseurs de premier plan tels que Google Ventures d'Alphabet, Alibaba et Andreessen Horowitz, Magic Leap mène le jeu des investissements MR avec près de 2 milliards de dollars de financement à risque à ce jour.

Passons en revue les principaux investissements dans les principales entreprises de VR/AR sur le marché aujourd'hui.

Considérations de conception pour les nouvelles réalités

Concevoir pour la réalité virtuelle, la réalité augmentée et la réalité augmentée revient à créer de nouvelles réalités. Ce nouveau paradigme de création de contenu immersif et multidimensionnel exige de nouvelles règles et considérations. La conception de réalité augmentée, virtuelle et mixte s'appuie sur des compétences existantes allant de la conception visuelle (3D, UI) à la conception d'expérience (UX, produit) et au développement, entre autres.

De la compréhension de l'anatomie humaine, de l'empathie, du son à la conception visuelle et au-delà - lorsqu'il s'agit de concevoir en dehors de la toile rectangulaire 2D standard, les créatifs ont un tout nouveau terrain de jeu.

Conception 3D et visuelle

Les concepteurs de réalité virtuelle doivent utiliser une approche et un ensemble d'outils complètement différents lors de la création d'expériences et d'interfaces immersives. Plus précisément, ils doivent penser en dehors de l'écran 2D ou des rectangles et plutôt penser à leur canevas créatif comme un espace illimité à 360°.

Tout devient tridimensionnel et, par conséquent, les concepteurs de réalité virtuelle feraient mieux de collaborer avec des experts 3D et/ou d'acquérir une compréhension de base des graphiques 3D à l'aide de WebGL et d'autres outils open source.

Le logiciel de création 3D populaire comprend :

• Unity3D (conception + moteur de jeu)
• Blocs Google VR
• Blender 3D (gratuit, open source)

Comprendre l'échelle et le positionnement

Les considérations d'échelle et de positionnement pour la conception VR et AR sont liées et s'influencent mutuellement. D'une part, la distance d'un élément par rapport au spectateur affecte la lisibilité et la facilité avec laquelle on peut interagir avec lui. D'autre part, l'échelle d'un objet dans la réalité simulée reflète à quel point le même objet serait grand/petit, ou éloigné/proche dans le monde réel.

Suivi et mouvement

Le concept de suivi de mouvement est lié au matériel et aux logiciels de réalité virtuelle, augmentée et mixte utilisés. Par exemple, alors que Google Cardboard permet principalement le suivi de mouvement de base à partir de l'accéléromètre du téléphone, le plus récent casque Google Daydream VR est livré avec une télécommande qui vous permet de pointer des choses et de piloter des interactions dans l'espace virtuel.

À l'extrémité supérieure du spectre, les systèmes immersifs comme Oculus Rift et HTC Vive permettent des systèmes de suivi de mouvement plus réactifs et des contrôleurs interactifs.

La conception de trackers et de contrôleurs de mouvement nécessite une bonne compréhension des gestes humains naturels et de l'affordance physique. Bien faire les choses permet d'améliorer l'effet d'immersion.

S'inspirer de disciplines plus traditionnelles

Il n'est pas nécessaire de réinventer la roue lorsqu'il s'agit de concevoir pour AR/VR/MR. De la même manière que lorsque nous sommes passés de l'imprimé au Web, nous pouvons prendre de nombreux indices et appliquer de nombreux principes issus de formes d'art plus traditionnelles.

Par exemple, la théorie des couleurs, les règles de composition et les meilleures pratiques d'éclairage s'appliquent toujours aux nouveaux médias. Parce que c'est toujours le monde réel que nous essayons d'imiter et d'expérimenter dans un contexte différent, en tirant parti des nouvelles technologies, les principes fondamentaux des arts visuels peuvent être mis à profit lors de la conception pour les nouvelles réalités que nous construisons.

Principes d'animation et de transition

Il en va de même pour les principes d'animation - l'effet de transition et le mouvement dans une réalité virtuelle gagnent en crédibilité lorsque les 12 principes d'animation (par nul autre que Disney) sont appliqués. Passons-les brièvement en revue :

1. Écrasement et étirement : expansion et compression d'un objet pour simuler le poids et le volume en mouvement.
2. Anticipation : Un indicateur qu'une action importante est sur le point d'avoir lieu.
3. Mise en scène : avoir une intention claire dans chaque état/position d'un objet.
4. Droit devant et pose à pose : définissez d'abord les états de début et de fin, puis comblez l'écart.
5. Suivi et chevauchement d'actions : lorsque de nombreuses pièces en mouvement s'arrêtent, elles ne s'arrêtent pas toutes en même temps.
6. Slow-In et Slow-Out : Aka effet d'assouplissement - aller lentement, puis vite, puis lentement.
7. Arc : En termes simples, ajouter un peu de courbure dans la plupart des mouvements.
8. Action secondaire : Ajout à une action principale pour la renforcer ou la compléter.
9. Timing : utilisation de la vitesse ou de la latence pour simuler la physique ou l'échelle de temps.
10. Exagération : Accentuer des mouvements spécifiques pour aider à souligner quelque chose.
11. Dessins solides : rendre les choses plus tridimensionnelles.
12. Appel : Ce principe appelle des caractéristiques intéressantes et convaincantes.

Outils et ressources

Dans l'intérêt de démocratiser ces technologies émergentes et de stimuler un esprit de co-création, de nombreuses entreprises partagent leurs cadres de conception et de développement avec le monde. Voici quelques ressources clés pour vous lancer dans les réalités virtuelles, augmentées et mixtes :

• Design Facebook – Ressources VR
• Pomme – ARkit
• Microsoft HoloLens Mixed Reality – Kits MR

L'avenir des réalités augmentées, virtuelles et mixtes

AR a montré un taux d'adoption plus large si l'on considère le succès mondial du hit Pokemon Go. Aujourd'hui, tout ce qu'il faut pour faire l'expérience de la réalité augmentée est un smartphone avec un système d'exploitation à jour, un appareil photo décent et une application AR - il n'y a aucun coût d'entrée, et nous avons le monde entier comme toile de fond.

L'entrée récente d'Apple dans le jeu AR promet de stimuler encore plus les tendances de la réalité augmentée. Tim Cook a exprimé sa position sur le sujet : « Il y a clairement des niches intéressantes pour la VR, mais ce n'est pas profond à mon avis. La RA est profonde. »

Malgré une histoire plus longue que l'AR ou la MR, la réalité virtuelle semble avoir un problème d'audience, principalement en raison du coût élevé de l'adoption d'un casque VR décent, de l'inconfort physique lié à une utilisation prolongée et du manque de cas d'utilisation concrets pour la technologie.

« Comment fonctionne la réalité virtuelle ? » est une question que nous entendons souvent en ligne ainsi que lors d'événements VR. Néanmoins, de nombreux secteurs pourraient utiliser la technologie pour créer de nouvelles opportunités. Par exemple, la réalité virtuelle dans l'industrie automobile montre des possibilités intéressantes.

Enfin, la réalité mixte est le mélange parfait de réalité réelle, augmentée et virtuelle. "Les applications sont infinies", déclare Joerg Tewes, PDG d'Avegant. Il réfléchit à la manière dont les concepteurs et les ingénieurs pourraient manipuler directement des modèles 3D avec leurs mains. "La réalité mixte permet aux gens d'interagir directement avec leurs idées plutôt que sur des écrans ou des claviers", ajoute-t-il.

Le monde est sur le point d'élargir ses frontières avec du contenu 3D immersif et le domaine numérique comme jamais auparavant. C'est une opportunité unique pour les concepteurs, les ingénieurs et les entreprises de rejoindre la révolution.

Dites-nous ce que vous en pensez! S'il vous plaît laissez vos pensées, commentaires et commentaires ci-dessous.

• • •

Pour en savoir plus sur le blog Toptal Design :

• Les principes de conception et leur importance
• Les meilleurs portefeuilles de concepteurs UX - Études de cas et exemples inspirants
• Explorer les principes de conception de la Gestalt
• Adobe XD vs Sketch - Quel outil UX vous convient le mieux ?
• Les 10 livrables UX utilisés par les meilleurs designers