Rzeczywistość rozszerzona a rzeczywistość wirtualna a rzeczywistość mieszana — przewodnik wprowadzający

Pomimo wielu cech wspólnych, VR, AR i MR to nie to samo. Omówimy kluczowe wyróżniki, siły napędowe i przypadki użycia dla tych trzech obiecujących powiązanych technologii.

Dzisiejsza technologia przeszła długą drogę od czasów cienkich tekturowych dysków View-Master zawierających siedem stereoskopowych par 3D małych kolorowych fotografii, do dzisiejszej rzeczywistości wirtualnej i jej bliskiego kuzyna AR. W rzeczywistości, dzięki dużym inwestycjom gigantów, takich jak Facebook, Google, Samsung i wielu innych, obstawiających wysokie zyski, rzeczywistość wirtualna i rozszerzona coraz częściej trafia do naszych kanałów informacyjnych.

W tym artykule zaczniemy od podkreślenia niuansów między VR, AR i MR, a następnie udamy się w krótką podróż w czasie, aby zobaczyć, jak ewoluowały VR/AR. Na koniec oceniamy, jak wpisują się w dzisiejszą rzeczywistość i jak mogą wpłynąć na jutrzejszą.

Co to jest rzeczywistość wirtualna (VR)?

Rzeczywistość wirtualna lub VR to symulowane i wciągające doświadczenie wyświetlane przez urządzenie w zasięgu wzroku użytkownika. Wyobraź sobie, że spacerujesz po Champs-Elisee (Paryż), a jednocześnie siedzisz w swojej piwnicy w San Francisco. Wszystko, czego potrzebujesz, to zestaw słuchawkowy, który wyświetla symulację przez wizjer. To jest dokładnie to, co obiecuje VR i wiele więcej.

Jak działa VR?

Niektórzy z was mogą pamiętać, jak ekscytującym doświadczeniem było korzystanie z View-Master firmy Mattel, który został wprowadzony w latach 60. XX wieku. Dzisiejsza VR to nowoczesna wersja tego stereoskopowego efektu zwiedzania: wymaga zestawu soczewek wewnątrz wizjera na zestawie słuchawkowym i zamontowanego urządzenia, na którym doświadczenie jest przechowywane lub obliczane.

Od czystej obserwacji po pełne zanurzenie, zakres możliwości VR różni się w zależności od urządzenia i typu używanego zestawu słuchawkowego. Korzystanie z pilota zsynchronizowanego z zamontowanym zestawem słuchawkowym pozwala użytkownikowi na interakcję z obiektami 3D w przestrzeni, w ramach doświadczenia — zarówno w przypadku gier VR, jak i wirtualnych interfejsów i aplikacji.

Krótka historia VR i jej ewolucji w czasie

Pomijając na chwilę techniczne aspekty VR i skupiając się na wciągającym doświadczeniu 360°, w które ma nas zaprojektować, możemy argumentować, że wirtualna rzeczywistość zaczęła się od „360-stopniowych murali (lub panoramicznych obrazów) z XIX wieku, ” jak stwierdza Towarzystwo Wirtualnej Rzeczywistości w swojej Historii Wirtualnej Rzeczywistości. Przeszliśmy od wczesnego symulatora lotu (1929), przez pierwszy Morton's Head Mounted Display w 1960 roku, do Neo doświadczającego całego świata jako symulacji w Matrixie w 1999 roku.

Które firmy są dziś liderami na rynku VR?

Szybko do roku 2014, w którym Google zainicjował masowy zestaw słuchawkowy DIY, który wykorzystuje smartfon do obsługi VR: Google Cardboard. Rok później Samsung podążył za swoim Gear VR, a nowy wyścig o wirtualną rzeczywistość oficjalnie się rozpoczął. Oficjalnie przejęty w czerwcu 2014 roku, Oculus VR dołączył do rodziny Facebooka, aby przyspieszyć dążenie do dominacji w high-endowym spektrum gogli wirtualnej rzeczywistości.

Co to jest rzeczywistość rozszerzona (AR)?

Tak jak sama nazwa wskazuje, Rozszerzona Rzeczywistość (AR) wzbogaca nasze postrzeganie świata poprzez nakładanie się generowanych komputerowo grafik, obrazów lub zestawu interaktywnych danych.

Jak działa AR?

Na dzień dzisiejszy AR wymaga jedynie smartfona z aparatem i aplikacją AR. Dwa kluczowe elementy, które sprawiają, że to działa, to zdolność kamery do rejestrowania otoczenia podczas poruszania się oraz oprogramowanie, które oblicza i wyświetla niektóre wizualizacje lub treści generowane komputerowo.

Świetnym tego przykładem jest najnowsza aplikacja AR IKEA, która pozwala każdemu wyobrazić sobie, jak każdy pokój lub przestrzeń będzie się czuła z niektórymi meblami marki.

Projektanci i architekci mogliby wyraźnie skorzystać z tego nowego sposobu tworzenia obiektów na skalę życiową w kontekście rzeczywistego życia. „Teraz technologia dogoniła naszą ambicję. AR pozwala nam na nowo zdefiniować doświadczenie handlu detalicznego meblami, w naszym niespokojnym dążeniu do stworzenia lepszego codziennego życia dla wszystkich i na całym świecie” – mówi Michael Valdsgaard, Lider ds. Transformacji Cyfrowej w Inter IKEA Systems.

Krótka historia AR

Od rzucenia pierwszego wirtualnego żółtego znacznika linii podczas meczu NFL na żywo w 1998 roku po nakładające się dane map w celu wspomagania symulacji lotu NASA, rzeczywistość rozszerzona od wielu dziesięcioleci żyje poza science fiction.

W 1974 roku Myron Kruger połączył projektory i kamery wideo w interaktywnym środowisku — to były narodziny AR, jaką znamy dzisiaj.

Niedawno AR zrobiła duży krok w kierunku szerszego przyjęcia na WWDC 17 firmy Apple, kiedy rozwój AR został przedstawiony masom za pomocą ARKit, platformy programistycznej dla aplikacji rzeczywistości rozszerzonej stworzonej dla iPhone'ów i iPadów.

ARkit vs. ARCore – walka między Apple i Google o dominację AR

ARKit firmy Apple na iOS 11 obiecuje demokratyzację tworzenia treści AR i masowej konsumpcji. Jest to bezpośrednia odpowiedź na ARCore Google'a, który w przeciwieństwie do Apple'a, ma tę przewagę, że wykorzystuje swoją wiedzę z przebywania również w przestrzeni VR. Zarówno projektowanie, jak i frameworki programistyczne AR obiecują uprościć i przyspieszyć proces tworzenia oraz przekazać tę technologię w ręce milionów osób korzystających już z telefonów z systemem Android i iOS.

Ponieważ aplikacje rzeczywistości rozszerzonej są wciąż nowe na rynku masowym, jest zbyt wcześnie, aby stwierdzić, jak bardzo różnią się te zestawy programistyczne, z wyjątkiem tego, że każdy z nich jest specyficzny dla własnych systemów operacyjnych i głównych odbiorców.

Teraz, gdy dwie najważniejsze firmy technologiczne – między nimi kontrolujące 99% rynku smartfonów – wykonały taki publiczny ruch w oparciu o rozszerzoną rzeczywistość, powinniśmy być gotowi na ponowne załamanie się branż.

A co z rzeczywistością mieszaną (MR)?

Rzeczywistość mieszana jest hybrydą VR i AR i ma na celu oferowanie tego, co najlepsze z obu światów. Na przykład, chociaż używa zestawu słuchawkowego, takiego jak VR, widząc przez półprzezroczysty wizjer lub szkło, wyświetla również wizualizacje na naszym otoczeniu.

To, co wyróżnia MR, to jego wysoce interaktywny aspekt i realistyczne odwzorowanie projekcji, które dodaje do naszego otoczenia. Zamiast polegać wyłącznie na pilotach czy ekranach telefonów, możemy wchodzić w interakcję z wciągającą treścią za pomocą naturalnych gestów ciała i palców.

Apple i Google wyraźnie przodują w technologii AR, ale dzisiejszy krajobraz MR faworyzuje Microsoft (HoloLens) i masowo finansowany Magic Leap (jak dotąd tylko demo koncepcyjne).

Microsoft HoloLens i Magic Leap — dwaj królowie wyścigu rzeczywistości mieszanej

Microsoft HoloLens

Pomimo komercyjnej porażki Google Glass, Microsoft nie cofnął się przed wypróbowaniem własnego „komputera holograficznego” w grze MR. Nazwa „HoloLens” pochodzi od podstawowego doświadczenia „umożliwiającego angażowanie się w treści cyfrowe i interakcję z hologramami w otaczającym Cię świecie”.

Magiczny skok

Jako jeden z najlepiej finansowanych start-upów przedproduktowych, to wspierane przez Google przedsięwzięcie jest również jednym z najbardziej tajnych projektów w branży technologicznej. Dyrektor generalny Magic Leap, Rony Abovitz, nazywa to „rzeczywistością kinową – całkowitą zmianą w informatyce wizualnej”. Ta firma zajmująca się technologią rzeczywistości mieszanej podejmuje wyzwanie projektowania środowisk interaktywnych, wykorzystując to, co najlepsze w systemach rzeczywistości wirtualnej i rozszerzonej.

Chociaż nie zostało to jeszcze upublicznione, okulary holograficzne wykorzystują Dynamic Digitized Lightfield Signal – wyświetlając obrazy bezpośrednio do oka i „oszukując” mózg, by myślał, że to prawda. Rezultatem jest bogatsze i bardziej wiarygodne rozszerzone doświadczenie.

W jaki sposób VR, AR i MR redefiniują sposób, w jaki postrzegamy i doświadczamy świata?

VR dla rozrywki i konsumpcji środków masowego przekazu

Jednym z oczywistych zwycięzców pojawienia się VR jest przemysł rozrywkowy. Lego Star Wars 360 Experience to jeden z przykładów świetnego przyjęcia i wdrożenia wirtualnej rzeczywistości, dzięki czemu widzowie mogą doświadczyć opowiadania historii w zupełnie inny sposób.

Ogłaszając pierwszy w historii samodzielny zestaw słuchawkowy VR (nie wymagający podłączenia do niego telefonu ani komputera), gigant technologiczny Facebook wkracza w ofensywę z planem demokratyzacji VR.

AR odkrywa na nowo Nintendo — stuletnią firmę — prawie z dnia na dzień

Wraz z wybuchowym sukcesem Pokemon Go w 2016 roku świat po raz pierwszy spojrzał na to, jak AR może dosłownie „poruszać” naszą rzeczywistość, rozszerzając ją o małe potwory wyskakujące i wyskakujące z ekranów naszych smartfonów.

Mieszana rzeczywistość. Połączona rzeczywistość? Mieszane odczucia.

Z niejasnymi różnicami w stosunku do swoich kuzynów VR i AR, rzeczywistość mieszana ma trudności ze zdefiniowaniem swojej przyszłości.

Podobnie jak VR, MR używa zestawu słuchawkowego do uruchomienia doświadczenia. Ale urządzenia rzeczywistości mieszanej różnią się od typowego sprzętu VR, ponieważ używają zamontowanych półprzezroczystych okularów, takich jak Google Glass, które pozwalają nam pozostać w prawdziwym świecie — rzeczywistość wirtualna miesza się z rzeczywistością.

Podobnie jak AR, MR nakłada cyfrowe treści i symulacje na to, co normalnie widzimy. Jednak doświadczenia w rzeczywistości mieszanej pozwalają na fizyczną interakcję z symulacją w sposób, którego AR nie potrafi… jeszcze. Zamiast polegać na samym ekranie telefonu, możesz używać ciała i pilotów do bardziej interaktywnej interakcji z otoczeniem.

Krajobraz VR, AR i MR w liczbach

Aby naprawdę podnieść się i osiągnąć szersze zastosowanie, trakcja finansowa będzie kluczowym wskaźnikiem zarówno technologicznej, jak i empirycznej trakcji.

Wspierany przez znanych inwestorów, takich jak Google Ventures firmy Alphabet, Alibaba i Andreessen Horowitz, Magic Leap przewodzi w grze inwestycyjnej MR z prawie 2 miliardami dolarów finansowania venture.

Przyjrzyjmy się głównym inwestycjom w kluczowe firmy VR/AR na dzisiejszym rynku.

Rozważania projektowe dla nowych rzeczywistości

Projektowanie dla VR , AR i MR jest jak tworzenie nowych rzeczywistości. Ten nowy paradygmat wciągającego i wielowymiarowego tworzenia treści wymaga nowych zasad i rozważań. Projektowanie rzeczywistości rozszerzonej, wirtualnej i mieszanej wykorzystuje istniejące umiejętności, od projektowania wizualnego (3D, UI) po projektowanie doświadczeń (UX, produkt) i rozwój, między innymi.

Od zrozumienia ludzkiej anatomii, empatii, dźwięku po projektowanie wizualne i nie tylko — jeśli chodzi o projektowanie poza standardowym prostokątnym płótnem 2D, twórcy mają zupełnie nowe pole do działania.

Projektowanie 3D i wizualne

Projektanci wirtualnej rzeczywistości muszą stosować zupełnie inne podejście i zestaw narzędzi podczas tworzenia wciągających doświadczeń i interfejsów. Mówiąc dokładniej, muszą myśleć poza ekranem 2D lub prostokątami, a zamiast tego myśleć o swoim kreatywnym płótnie jako o nieograniczonej przestrzeni 360 °.

Wszystko staje się trójwymiarowe, a co za tym idzie, projektanci VR lepiej współpracują z ekspertami 3D i/lub zdobywają podstawową wiedzę na temat grafiki 3D za pomocą WebGL i innych narzędzi typu open source.

Popularne oprogramowanie do tworzenia 3D obejmuje:

• Unity3D (projekt + silnik gry)
• Bloki Google VR
• Blender 3D (bezpłatny, open source)

Zrozumienie skali i pozycjonowania

Zagadnienia dotyczące skali i pozycjonowania w projektach VR i AR są ze sobą powiązane i wzajemnie na siebie wpływają. Z jednej strony odległość elementu od widza wpływa na czytelność i łatwość interakcji z nim. Z drugiej strony, skala obiektu w symulowanej rzeczywistości odzwierciedla, jak duży/mały lub daleko/blisko ten sam obiekt byłby w rzeczywistym świecie.

Śledzenie i ruch

Koncepcja śledzenia ruchu jest powiązana z używanym sprzętem i oprogramowaniem wirtualnej, rozszerzonej i mieszanej rzeczywistości. Na przykład, podczas gdy Google Cardboard umożliwia w większości podstawowe śledzenie ruchu z akcelerometru telefonu, nowszy zestaw słuchawkowy Google Daydream VR jest wyposażony w pilota zdalnego sterowania, który pozwala wskazywać rzeczy i prowadzić interakcje w przestrzeni wirtualnej.

Na wyższym końcu spektrum systemy immersyjne, takie jak Oculus Rift i HTC Vive, umożliwiają bardziej responsywne systemy śledzenia ruchu i interaktywne kontrolery.

Projektowanie dla urządzeń śledzących ruch i kontrolerów wymaga dobrego zrozumienia naturalnych ludzkich gestów i afordancji fizycznej. Właściwe wykonanie tego zadania pomaga wzmocnić efekt zanurzenia.

Czerpanie wskazówek z bardziej tradycyjnych dyscyplin

Nie ma potrzeby ponownego wymyślania koła, jeśli chodzi o projektowanie dla AR/VR/MR. Podobnie jak wtedy, gdy przeszliśmy od druku do sieci, możemy wziąć wiele wskazówek i zastosować wiele zasad z bardziej tradycyjnych form sztuki.

Na przykład teoria kolorów, zasady kompozycji i najlepsze praktyki oświetleniowe nadal mają zastosowanie do nowych mediów. Ponieważ to wciąż prawdziwy świat, który staramy się naśladować i doświadczać w innym kontekście, korzystając z nowych technologii, podstawowe zasady sztuk wizualnych można wykorzystać podczas projektowania dla nowej rzeczywistości, którą tworzymy.

Zasady animacji i przejścia

To samo dotyczy zasad animacji — efekt przejścia i ruch w wirtualnej rzeczywistości zyskują dużą wiarygodność, gdy zastosuje się 12 zasad animacji (przez nikogo innego niż Disney). Przyjrzyjmy się im krótko:

1. Squash and Stretch: Rozszerzanie i kompresowanie obiektu w celu symulacji masy i objętości w ruchu.
2. Przewidywanie: wskaźnik, że ma nastąpić ważne działanie.
3. Inscenizacja: Posiadanie jasnej intencji w każdym stanie/pozycji obiektu.
4. Prosto do przodu i ułóż do ułożenia: najpierw zdefiniuj stan początkowy i końcowy, a następnie wypełnij lukę.
5. Podążanie za i nakładanie się akcji: Kiedy wiele elementów w ruchu zatrzymuje się, nie wszystkie zatrzymują się jednocześnie.
6. Spowolnienie i spowolnienie: Aka efekt wygładzania - powoli, potem szybko, potem powoli.
7. Arc: Mówiąc najprościej, dodając odrobinę krzywizny w większości ruchów.
8. Akcja drugorzędna: dodanie do akcji podstawowej, aby ją wzmocnić lub uzupełnić.
9. Timing: Używanie prędkości lub opóźnienia do symulacji fizyki lub skali czasu.
10. Przesada: Akcentowanie określonych ruchów, aby coś podkreślić.
11. Solid Drawings: Sprawianie, że rzeczy wyglądają bardziej trójwymiarowo.
12. Odwołanie: Ta zasada wymaga interesujących i przekonujących cech.

Narzędzia i zasoby

W interesie demokratyzacji tych powstających technologii i stymulowania ducha współtworzenia, wiele firm dzieli się swoimi ramami projektowania i rozwoju ze światem. Oto kilka kluczowych zasobów ułatwiających rozpoczęcie pracy z rzeczywistością wirtualną, rozszerzoną i mieszaną:

• Facebook Design – zasoby VR
• Jabłko – ARkit
• Rzeczywistość mieszana Microsoft HoloLens — zestawy MR

Przyszłość rzeczywistości rozszerzonej, wirtualnej i mieszanej

AR wykazał szerszy wskaźnik adopcji, jeśli weźmiemy pod uwagę światowy sukces hitu Pokemon Go. Dzisiaj, aby doświadczyć rzeczywistości rozszerzonej, wystarczy smartfon z aktualnym systemem operacyjnym, przyzwoitym aparatem i aplikacją AR — wstęp nie wiąże się z żadnymi kosztami, a naszym płótnem jest cały świat.

Niedawne wejście Apple do gry AR obiecuje jeszcze bardziej wzmocnić trendy w rozszerzonej rzeczywistości. Tim Cook wyraził swoje stanowisko w tej sprawie: „Istnieje oczywiście kilka fajnych niszowych rzeczy dla VR, ale moim zdaniem nie jest to zbyt głębokie. AR jest głęboka”.

Pomimo dłuższej historii niż AR czy MR, rzeczywistość wirtualna wydaje się mieć problem z odbiorcami, głównie ze względu na wysoki koszt przyjęcia porządnego zestawu VR, fizyczny dyskomfort związany z długotrwałym użytkowaniem i brak konkretnych przypadków użycia tej technologii.

„Jak działa rzeczywistość wirtualna?” to pytanie, które często słyszymy zarówno w Internecie, jak i podczas wydarzeń VR. Mimo to wiele sektorów mogłoby wykorzystać tę technologię do stworzenia nowych możliwości. Na przykład wirtualna rzeczywistość w branży motoryzacyjnej pokazuje kilka ekscytujących możliwości.

Wreszcie rzeczywistość mieszana to idealne połączenie rzeczywistości rzeczywistej, rozszerzonej i wirtualnej. „Zastosowania są nieograniczone”, mówi dyrektor generalny Avegant Joerg Tewes. Zastanawia się, w jaki sposób projektanci i inżynierowie mogli bezpośrednio manipulować modelami 3D własnymi rękami. „Rzeczywistość mieszana umożliwia ludziom bezpośrednią interakcję z ich pomysłami, a nie na ekranach lub klawiaturach” – dodaje.

Świat jest na skraju poszerzenia swoich granic dzięki wciągającym treściom 3D i sferze cyfrowej, jak nigdy dotąd. To wyjątkowa okazja dla projektantów, inżynierów i firm, aby dołączyć do rewolucji.

Pozwól nam wiedzieć co myślisz! Zostaw swoje przemyślenia, komentarze i opinie poniżej.

• • •

Dalsza lektura na blogu Toptal Design:

• Zasady projektowania i ich znaczenie
• Najlepsze portfolio projektantów UX – inspirujące studia przypadków i przykłady
• Odkrywanie zasad projektowania Gestalt
• Adobe XD kontra Sketch – które narzędzie UX jest dla Ciebie odpowiednie?
• 10 elementów UX, z których korzystają najlepsi projektanci