Nouvelles réalités : VR, AR, MR et l'avenir du design
Publié: 2022-03-11Les progrès de l'intelligence artificielle, de la réalité augmentée et de la réalité virtuelle offrent de nouvelles opportunités de conception aux concepteurs.
Le paysage numérique et technologique est en constante évolution et s'accélère à bien des égards. Les designers chargés de proposer des idées innovantes doivent garder une trace de ce qui est tendance et où se trouvent les opportunités créatives. Reconnaître les changements qui se produisent dans l'industrie aidera les concepteurs à concevoir plus intelligemment et à prendre des décisions créatives plus éclairées.
Dans le cycle de vie de l'adoption de la technologie, les « innovateurs » sont le groupe le plus petit, mais celui qui réussit le mieux. Ils sont suivis par "Early Adopters", puis "Early Majority", et plus tard, "The Majority", ou tout le monde. En tant qu'innovateurs, les grands designers entrent généralement dans la catégorie des "Early Adopters", c'est-à-dire de grands preneurs de risques en territoire inexploré. Un grand designer est également un visionnaire capable de penser stratégiquement et d'analyser les tendances afin de concevoir de meilleurs produits ou services.
Examinons quelques opportunités créatives et technologies émergentes et pourquoi, afin de concevoir l'avenir, les designers doivent penser au-delà de l'écran vers de nouvelles réalités.
Un nouveau paysage technologique : IA assistée par l'homme, réalité augmentée, réalité virtuelle et réalité mixte
Qu'est-ce que l'intelligence artificielle ?
L'intelligence artificielle (IA) donne à un ordinateur ou à un appareil contrôlé par ordinateur la capacité d'effectuer des tâches intelligentes telles que le raisonnement ou l'apprentissage par l'expérience. L'informatique cognitive était le terme utilisé quand tout a commencé il y a dix ans - l'idée que, face à une surcharge cognitive, nous allons avoir besoin d'aide pour prendre des décisions. Citant les avantages évidents de l'intelligence artificielle actuellement utilisée, nous comptons déjà sur des assistants numériques IA comme Siri et Alexa (entre autres) pour nous aider à prendre des décisions simples.
Les concepteurs de produits disposeront d'un volume croissant d'informations de données pour éclairer leurs décisions de conception. Les experts en intelligence artificielle exploitent la technologie de l'IA pour créer des interfaces utilisateur dynamiques, personnalisant chaque expérience utilisateur en analysant chaque interaction au sein d'une application ou d'un site Web. À l'avenir, les ordinateurs deviendront encore meilleurs pour prendre des décisions basées sur des données afin d'améliorer les tâches automatisées et nos processus décisionnels humains.
Avec Watson d'IBM ouvrant la voie à des entreprises comme General Motors, Conde Nast, GSK, Citigroup et Under Armour, l'avenir de l'IA consistera à prendre efficacement des décisions complexes et importantes.
En tant que professionnels de la création, nous pouvons utiliser ces idées dans plusieurs secteurs verticaux de l'industrie. Par exemple, The North Face a utilisé Watson pour aider à créer une interface de commerce électronique intuitive qui aide les clients à prendre des décisions d'achat optimales.
Assistants virtuels - La technologie de l'IA en action
Des assistants virtuels comme Siri, Alexa, Cortana, Watson et d'autres s'appuient sur l'intelligence artificielle pour tout faire, de la recherche d'un restaurant à l'envoi d'un e-mail ou à la planification d'une réunion. Beaucoup d'entre eux sont commandés par la voix, une interface plus naturelle pour les humains qu'une interface utilisateur visuelle traditionnelle de fenêtres et de boutons. Ces technologies sont susceptibles de remodeler la conception actuelle des moteurs de recherche.
Parler est une méthode naturelle et simple d'interaction pour les humains. Ainsi, il n'est pas surprenant que les assistants virtuels à commande vocale aient reçu un taux d'adoption favorable dans nos foyers. Les utilisateurs peuvent simplement parler au système plutôt que de le « faire fonctionner » avec les mains ou des gestes. Par exemple, avec un iPhone, en utilisant une seule requête rapide, Siri nous permet de transférer de l'argent via PayPal à une autre personne.
Comme l'IA est intégrée dans les applications, elle aidera les assistants virtuels intelligents (IVA) à devenir de plus en plus intelligents. Néanmoins, quelle que soit l'intelligence des IVA, les utilisateurs ayant une mauvaise vue ou d'autres handicaps physiques - qui utilisent des lecteurs d'écran et d'autres technologies d'assistance - pourraient toujours être confrontés à des défis importants. Il appartiendra aux concepteurs UX travaillant avec des chercheurs en expérience utilisateur de combler ces lacunes critiques en matière d'accessibilité.
Comment l'intelligence artificielle alimente un monde sans conducteur
Les systèmes de transport en commun du futur permettront à la circulation de circuler dans nos rues de manière fluide et efficace. Les innovations de conception telles que les bus modulaires et détachables, les taxis volants et les réseaux de modules magnétiques suspendus feront du rêve d'un monde dynamique et sans conducteur une réalité.
Ce qui était l'actualité de la science-fiction il y a quelques années devient maintenant une réalité. Le Moby-Mart de Wheelys est un magasin autonome avec un assistant de magasin holographique qui est susceptible de changer le monde de la conception du commerce électronique.
La prochaine génération de concepteurs de commerce électronique aura besoin d'une multi-spécialisation dans les espaces physiques et numériques. Les futurs concepteurs devront concevoir une expérience où de nombreux éléments humains familiers sont supprimés ou éloignés.
Amazon Go, un magasin sans caissier, est un excellent exemple de ce à quoi ressemble la conception du futur. Ils ont conçu une expérience d'achat où n'importe qui peut entrer dans le magasin, parcourir, magasiner et repartir avec ses produits à la main, sans friction. Pas de files d'attente à la caisse.
L'intelligence intégrée à chaque véhicule autonome lui permet de prendre toutes les bonnes décisions pour nous, de l'itinéraire le plus optimal aux problèmes de sécurité humaine. La création de systèmes de conception aussi complexes crée un modèle de produit qui lancera une nouvelle vague de produits conçus en dehors de la verticale du transport.
Il deviendra nécessaire pour les concepteurs d'intérieurs automobiles de créer des conceptions rendant l'espace intérieur confortable et adaptatif. Les interfaces devront être intuitives et rassurantes afin de favoriser la confiance du passager tout en privilégiant les interactions humaines entre les personnes partageant le trajet.
Réalité augmentée
La réalité augmentée (AR) agit comme une couche virtuelle au-dessus du monde devant vous et se trouve dans une nouvelle ère de découverte et d'innovation. Alors que les premières applications AR dépendaient d'un smartphone ou d'une tablette, elles se développeront bientôt dans des appareils portables comme des lunettes intelligentes nécessitant un autre type d'expérience utilisateur et de processus de conception, en pensant en dehors des limites d'un écran plus petit.
Alors que le débat sur AR vs VR vs MR est en cours, la réalité augmentée est une opportunité unique pour les concepteurs de créer des applications utilisant la reconnaissance d'images, d'objets et de couleurs. Tout comme l'IA exploite les données pour prendre des décisions, la réalité augmentée exploite la reconnaissance d'objets et de points « d'ancrage » clés dans un espace donné.
Animoji d'Apple, un emoji animé pour l'iPhone X, est un excellent exemple d'une combinaison parfaite entre l'IA et la RA. Selon Apple, Animoji est "des messages animés personnalisés qui utilisent votre voix et reflètent vos expressions faciales". Le rendu et l'animation fonctionnent en temps réel, grâce aux fonctions d'analyse d'as de l'iPhone X.
Meta – Créer des expériences immersives en réalité augmentée
Au cours des cinq prochaines années, la réalité augmentée sera mieux intégrée à notre vie quotidienne, fusionnant nos mondes physique et numérique avec de nouveaux produits portables. Un produit comme les lunettes Meta, qui superposent la réalité augmentée à la réalité de l'utilisateur, est susceptible d'être populaire comme support pour les concepteurs de jeux.
Basées sur la technologie holographique, les lunettes Meta peuvent identifier les gestes des utilisateurs pour leur permettre de manipuler des projections 3D d'objets. Avec autant de dispositifs basés sur les gestes, la standardisation et les écarts culturels pourraient devenir un défi majeur pour les concepteurs travaillant dans le domaine.
"L'avenir de la productivité est spatial", a déclaré Meta lors de la présentation de son espace de travail AR. À l'avenir, le matériel portable permettra aux employés de travailler les mains libres. Les appareils du futur pourraient fonctionner sur des commandes vocales ou des gestes. Le succès croissant des expériences AR peut prédire la fin des contrôleurs physiques tels qu'un curseur de souris ou un clavier.
En réalité augmentée, les gestes naturels pourraient être les principaux moteurs de l'expérience. Par exemple, imiter le clic d'un bouton avec nos doigts déclencherait une interaction avec un lien ou un bouton virtuel. Google a lancé le projet Soli, qui va encore plus loin : ils ont créé une technologie de détection axée uniquement sur les interactions sans contact. Pour rester conviviales, de telles expériences nécessitent une interface minimale, avec peu ou pas de surcharge visuelle.
Quelques ressources notables de conception et de développement de réalité augmentée :
- Cadre Facebook et AR Studio
- Kit AR Apple
Vie améliorée par la réalité augmentée
Dans le cadre de son concept de cuisine, IKEA développe une table intelligente qui propose des recettes en fonction des ingrédients qui y sont déposés. Ceci est un excellent exemple de technologie AR fonctionnant dans le monde réel. La table interactive dispose d'un projecteur équipé d'une caméra qui affiche des recettes sur sa surface et reconnaît les ingrédients, vous donnant une idée de ce qu'il faut faire avec ce que vous avez sous la main.
De telles expériences immersives sont en concurrence directe avec des applications mobiles qui sembleront bientôt dépassées en raison de leurs capacités plus restreintes. Les concepteurs d'applications mobiles créeront bientôt des applications augmentées qui s'intègrent aux espaces physiques pour offrir une nouvelle façon passionnante d'interagir avec nos environnements physiques.
L'avenir du travail avec la réalité augmentée
La réalité augmentée peut également être utilisée pour le transfert de connaissances, comme la formation en milieu industriel. Au lieu d'expliquer, imaginez montrer à un travailleur comment effectuer une tâche spécifique via une vidéo contextuelle. Cela ouvre des portes aux concepteurs du domaine de l'apprentissage en ligne pour créer des interfaces AR de nouvelle génération.
Boeing utilise des lunettes AR alimentées par Skylight pour guider les techniciens lorsqu'ils câblent des centaines d'avions par an. L'écran portable aide les techniciens à identifier et à connecter avec précision des centaines de fils en utilisant uniquement leur vue et leur voix pour contrôler l'application. En conséquence, Boeing a réduit le temps de production de 25 % et réduit les taux d'erreur à près de zéro .
Un système de commande vocale simple réduit le coût d'interaction pour effectuer des tâches complexes lors de l'utilisation d'applications AR. La minimisation des éléments d'interface réduit la charge cognitive d'un utilisateur, minimise les interruptions et réduit les distractions.
La technologie de réalité augmentée pourrait changer la façon dont les clients et les travailleurs sont formés et initiés à de nouvelles informations. Imaginez des modules de formation comme comment changer l'huile dans une voiture, ou d'autres vidéos de formation "Comment faire" utilisant la réalité augmentée pour superposer des indications sur une situation réelle.
Du point de vue de la convivialité, les concepteurs doivent non seulement tenir compte de ce que le système présente visuellement à l'utilisateur, mais également de la manière dont le cerveau interprète des informations complexes qui chevauchent la réalité réelle.
Réalité virtuelle et réalité mixte
La réalité virtuelle (VR) vous plonge complètement dans un monde virtuel, et la réalité mixte (MR), parfois appelée réalité hybride, est la fusion des mondes réel et virtuel. La réalité virtuelle peut être utilisée pour des bureaux virtuels, des produits, des événements comme les Teen Choice Awards 2017, et plus encore. Avec la réalité virtuelle, les concepteurs et leurs clients pourront prévisualiser des conceptions à l'échelle d'environnements et de profondeur réels, grandeur nature, avant même d'entrer dans la phase de production.
Début 2017, Forbes a observé que "le battage médiatique autour de la réalité virtuelle s'estompe". Les limitations notables des visages VR sont un prix élevé pour les casques, une gêne due à une utilisation intensive, une mauvaise qualité visuelle, et bien plus encore. En conséquence, il y a une lente adoption par le marché de masse de la technologie VR par rapport à la RA qui "sera probablement meilleure à court terme".
Applications de réalité virtuelle
La nouveauté du contenu de réalité virtuelle offre une opportunité unique d'impliquer un large public, comme en témoigne un documentaire VR de National Geographic : The Protectors, Walk in the Ranger's Shoes. Il a reçu plus d'attention que d'autres documentaires sur le thème de la nature.
Au-delà de transporter les téléspectateurs dans de nouveaux endroits, la prochaine opportunité pour les designers est de les aider à vivre la vie comme une autre personne. Offrir une vue à la première personne peut créer des campagnes uniques et efficaces telles que "A Walk Through Dementia", centrées sur l'empathie.
Un nouvel ensemble de modèles de conception émergera finalement pour les concepteurs de réalité virtuelle, mais une approche de conception plate a peu de chances de réussir. En réalité virtuelle, notre cerveau utilise l'orientation spatio-temporelle et les capacités de résolution de problèmes ; par conséquent, il est essentiel d'utiliser des textures, un éclairage et des détails plus fins pour une expérience plus crédible et immersive.
La réalité virtuelle donne aux utilisateurs la possibilité de se rapprocher d'objets virtuels et de s'en éloigner. Étant donné que l'œil est très doué pour saisir les informations de profondeur, le rendu des objets par les concepteurs doit être réaliste et détaillé. Le son et la musique sont d'autres considérations importantes pour les concepteurs de réalité virtuelle.
MR – Mélange de réalités réelles et virtuelles
La réalité mixte Microsoft HoloLens associe le contenu holographique 3D au monde physique, donnant aux hologrammes un contexte et une échelle réels. La technologie MR mélange et fusionne l'environnement physique d'une personne avec des objets du monde physique et numérique. Grâce à cette technologie MR, nous pouvons interagir à la fois avec le contenu numérique et le monde qui nous entoure, ainsi qu'interagir avec des projections holographiques 3D.
Les applications MR et VR offrent une nouvelle liberté de création aux concepteurs. Nous pouvons créer des expériences où les utilisateurs peuvent interagir virtuellement avec les produits et visiter des environnements distants, des événements historiques, des concerts et bien plus encore. Dans les réalités virtuelles ou mixtes que nous créons, nous pouvons contourner les lois de la physique avec des possibilités infinies et découvrir le monde comme jamais auparavant.
Du point de vue de la conception et de la convivialité, un principe clé à garder à l'esprit est de mettre les utilisateurs à l'aise et d'éviter les sensations inconfortables en les maintenant ancrés dans le monde réel. À cette fin, nous pouvons tirer parti du son, du mouvement et d'un bon sens de l'échelle - les environnements virtuels et les interactions que nous créons doivent être naturels et ergonomiques, pas nécessairement réalistes.
Lors de la conception d'une interface visuelle qui utilise un casque et nécessite un examen approfondi d'un objet comme un organe VR, nous devons garder à l'esprit que les gens sont beaucoup plus sensibles au mal des transports lorsqu'ils portent un casque VR que lorsqu'ils regardent un écran d'ordinateur.
L'expérience de marque en réalité virtuelle
La réalité virtuelle crée une opportunité pour les entreprises de fournir une expérience plus immersive de leur marque aux clients. C'est une nouvelle frontière pour le contenu de marque et la narration. Audi utilise la réalité virtuelle pour découvrir un nouveau modèle de sa voiture avant même de la toucher physiquement. En capturant tout l'intérieur du véhicule avec une caméra 3D spéciale, ils permettent aux clients de voir chaque détail avant le lancement sur le marché.
Une utilisation efficace de la conception et du marketing en réalité virtuelle permet aux marques de tirer parti des composants de conception suivants :
- Une stratégie créative bien pensée
- Application des meilleures pratiques d'utilisabilité
- Récit et narration forts
- Présentation ergonomique des informations
- Conception visuelle et simulations convaincantes
La définition de l'utilisabilité sera considérablement élargie pour les concepteurs et couvrira tous les aspects, y compris le niveau de confort de l'environnement. Les concepteurs devront développer une compréhension du niveau d'inconfort potentiel dans certaines situations telles que les hauteurs, les petits espaces (claustrophobie), les grands espaces (agoraphobie), l'échelle, la vitesse, la collision d'objets, la fatigue de l'utilisateur, l'ergonomie, etc.
Pour communiquer la fiabilité et la sécurité de ses véhicules dans des situations difficiles, Toyota plonge ses clients dans une expérience VR narrative. Ils peuvent découvrir la marque ainsi que du contenu personnalisé unique dans différents environnements. Cela ouvre la porte aux entreprises pour montrer aux clients une facette de la marque qu'ils n'ont jamais vue auparavant.
En tant que designers profondément impliqués dans la création de telles expériences, nous devons remettre en question l'utilité de nos idées et solutions créatives pour les marques et nous assurer que nous résolvons réellement des problèmes commerciaux spécifiques. Nous devrions nous demander si l'expérience VR répond à la proposition de valeur de base de l'entreprise.
Applications VR pour une bonne cause
Pour créer plus d'empathie et contextualiser la vie de ceux qui ont besoin de donateurs, certaines organisations à but non lucratif utilisent la réalité virtuelle pour déplacer les visiteurs dans la vie à l'intérieur des camps de réfugiés. Cela crée un engagement accru et une plus grande volonté de soutenir leurs initiatives. Une idée comme celle-ci pourrait créer un changement dans le travail de conception VR effectué par les grandes marques vers un espace à but non lucratif.
Comme autre exemple, Mark Zuckerberg a montré au monde une tournée en réalité virtuelle de Porto Rico frappé par l'ouragan afin de sensibiliser à la situation. Les idées et les cas d'utilisation sont "pratiquement illimités" - jeu de mots.
À l'aide d'un casque de réalité virtuelle et d'une télécommande, les utilisateurs peuvent explorer l'environnement en bougeant la tête et interagir avec les objets en utilisant leurs mains. Les systèmes VR haut de gamme comme HTC Vive ou Oculus Rift utilisent des capteurs pour localiser les utilisateurs dans l'espace physique et, en tant que tels, les concepteurs peuvent tirer parti de tout le corps de l'utilisateur pour créer des expériences sensorielles plus complètes et plus améliorées dans le monde réel.
L'avenir est un mélange équilibré entre IA, AR, VR et MR
Les développements récents de l'IA, en particulier l'apprentissage en profondeur, qui favorisent la reconnaissance d'images et de la parole en temps réel, ont permis de combiner la réalité virtuelle et l'IA pour de nouvelles applications. L'avenir de la conception de produits devra tenir compte de la combinaison de ces trois technologies. Des exemples notables sont les applications Eolian qui utilisent les technologies d'IA pour réduire les taux d'erreur humaine grâce à des simulations AR et VR de tâches dangereuses.
Virtualitics fournit une visualisation des données dans les environnements VR et AR grâce à l'apprentissage automatique et à l'IA. Ces technologies sont des outils qui nous aident à raconter des histoires et à partager des informations comme jamais auparavant. Ils peuvent être utilisés comme des outils d'engagement émotionnel incroyablement puissants nous permettant de développer l'empathie et de nous connecter avec le public, au-delà de ce que la télévision, les ordinateurs ou Internet offraient auparavant.
C'est une période passionnante pour travailler avec ces technologies ; la plupart des problèmes sont nouveaux et les anciennes directives ne s'appliquent souvent pas. Des institutions comme le MIT ouvrent la voie avec des expériences radicales sur de nouvelles idées. Par exemple, le MIT Game Lab crée des Play Labs pour accélérer les startups en AR, VR et AI. Cela inspirera sans aucun doute de nombreux innovateurs.
L'avenir peut s'appeler hyper réalité - une combinaison d'IA, AR, VR et MR. Une innovation intéressante, EscapeLabs, utilise la réalité augmentée et la réalité mixte (AR/MR) pour créer des expériences holographiques pour les salles d'évasion, les exercices de consolidation d'équipe et les jeux de puzzle à l'échelle de la pièce. En théorie, le besoin de casques encombrants et l'obligation de se connecter à un ordinateur statique ne seront plus nécessaires. La transition entre le monde virtuel et le monde réel deviendra plus facile et plus rapide, hyper immersive.
Internet a existé pendant de nombreuses années avant que nous découvrions que le partage social était la clé de l'engagement. De même, on s'attend à ce qu'une combinaison de ces technologies connaisse une croissance similaire, avec des opportunités d'emploi pour les concepteurs qui explosent dans les prochaines années.
Les nouvelles technologies comportent de nombreuses inconnues, ce qui crée un besoin d'établir des pratiques exemplaires, des normes et des modèles de conception. On suppose que c'est la raison pour laquelle les concepteurs UX auront une sécurité d'emploi à long terme dans les années à venir. Les concepteurs auront toujours besoin d'utiliser des techniques de conception centrées sur l'utilisateur pour apporter de la chaleur aux produits. La meilleure partie de ces technologies est que nous en sommes encore aux premières étapes et que beaucoup de choses doivent être résolues par notre communauté créative. Des moments passionnants à venir !
• • •
Pour en savoir plus sur le blog Toptal Design :
- Meilleures pratiques de conception d'interface utilisateur et erreurs courantes
- États vides - L'aspect le plus négligé de l'UX
- La simplicité est la clé - Explorer la conception Web minimale
- Principes heuristiques pour les interfaces mobiles
- Concevoir pour la lisibilité - Un guide de la typographie Web