Revisión de Microsoft HoloLens: cerrar la brecha entre AR y VR

Microsoft tiene una larga tradición de animar anuncios de productos relativamente aburridos con demostraciones tecnológicas convincentes, y el anuncio de Windows 10 no fue una excepción. El gigante del software aprovechó la oportunidad para crear una gran cantidad de rumores sobre HoloLens, un auricular futurista que ofrece una visión del futuro de la Realidad Aumentada (AR). Sin embargo, Microsoft también tiene una tradición de fracasos de hardware espectaculares, que alcanzaron su punto máximo bajo el régimen de Ballmer. ¿Recuerdas el teléfono Kin? Yo tampoco.

La introducción de HoloLens probablemente no será un fracaso por varias razones. En primer lugar, HoloLens todavía tiene un largo camino por recorrer antes de que se convierta en un dispositivo comercialmente viable: podría tomar unos pocos trimestres o un par de años. En segundo lugar, el concepto detrás de esto es sólido y se basa en algunas tendencias prometedoras de la industria emergente, como la tecnología portátil y los auriculares de realidad virtual (VR). HoloLens está tratando de ser algo diferente al agrupar una gran cantidad de funciones en un solo dispositivo, pero en esta revisión de Microsoft HoloLens, veremos lo que ya está disponible y lo que está en proceso.

Dado que este es un blog de ingeniería diseñado para profesionales de VR y otros ingenieros, no dedicaré mucho tiempo a responder la pregunta "¿Qué es HoloLens?" y explicando la diferencia entre AR y VR. La tecnología de realidad aumentada tiene una gama de aplicaciones potenciales en varias industrias, pero aplicaciones limitadas en el entretenimiento. La realidad virtual está más orientada al entretenimiento, aunque también tiene algunas aplicaciones profesionales.

Ambas tecnologías todavía tienen muchas limitaciones y se deben superar numerosos desafíos técnicos para ganar el atractivo del mercado masivo. Este es un proceso gradual que llevará años en lugar de meses. La tecnología necesaria para crear tales productos sin romper el banco simplemente no está lista, pero está llegando lentamente.

Echemos un vistazo a lo que hay y lo que falta.

Limitaciones de hardware: Google Glass, Oculus Rift y Microsoft HoloLens

Google Glass se anunció a principios de 2012 y comenzó a distribuirse un año después a un costo de $1500. El alto precio significaba que estaba reservado para un nicho muy pequeño: los primeros usuarios descritos como "exploradores" por la máquina de marketing y relaciones públicas de Google. El dispositivo ofrecía una funcionalidad AR limitada y contenía un pequeño proyector de prisma con una resolución de 640x360 píxeles, alimentado por un procesador obsoleto.

Si bien logró cautivar al público por un tiempo, Google Glass difícilmente puede describirse como un éxito. Los desarrolladores de aplicaciones que estaban ansiosos por subirse al carro comenzaron a perder interés, junto con los "exploradores" que parecían superar la moda en cuestión de meses. Los últimos rumores apuntan a una nueva versión de Google Glass con silicio Intel en su interior, por lo que podría ser demasiado pronto para un obituario. De cualquier manera, Google Glass no fue un gran éxito sin importar cómo lo mires.

Oculus Rift es quizás el sistema de realidad virtual más comentado en este momento, pero a diferencia de Google Glass, aún no se ha lanzado. Oculus VR ha estado trabajando en el dispositivo durante años y, en el proceso, la empresa pasó por dos generaciones de kits de desarrollo. Se espera que la versión para consumidores se lance en algún momento de 2015, con una especificación revisada. En marzo de 2014, Facebook compró Oculus VR por más de $ 2 mil millones en efectivo y acciones de Facebook.

Gear VR de Samsung ofrece un enfoque diferente, ya que utiliza el phablet Galaxy Note 4 en lugar de una pantalla integrada, pero se basa en alguna tecnología desarrollada por Oculus. El concepto modular me parece interesante, ya que se podría emplear un enfoque similar con una variedad de dispositivos móviles de diferentes proveedores que permitirían a los usuarios actualizar el hardware de manera efectiva cada vez que obtengan un teléfono nuevo. La plataforma Vuforia de Qualcomm cuenta con algunas características prometedoras para dispositivos móviles y aplicaciones potenciales de AR/VR.

Entonces, ¿qué falta? La respuesta simple podría ser el poder de procesamiento, pero es un poco más complicado que eso.

El problema con ambos conceptos es que todavía están adelantados a su tiempo y la tecnología todavía necesita ponerse al día. Es probable que HoloLens de Microsoft sufra los mismos problemas iniciales, pero el concepto de Microsoft es algo diferente y, por lo tanto, tiene la posibilidad de superar al menos algunos de estos problemas.

Google Glass se diseñó como un dispositivo portátil liviano, lo que resultó en una serie de compromisos. El dispositivo presentaba una sola pantalla en un prisma grueso frente al ojo derecho del usuario. La resolución era muy limitada dado el campo de visión (FOV). Por ejemplo, las pantallas de los relojes inteligentes tienden a presentar resoluciones verticales similares para un dispositivo que ocupa solo un par de grados del campo de visión del usuario. Google Glass se basaba en un sistema en chip (SoC) anticuado y tenía una duración de batería limitada.

Diseñar dispositivos móviles no es fácil y siempre implica una serie de compensaciones. Las pantallas de mayor resolución requieren más potencia de GPU, lo que requiere el uso de SoC más grandes con GPU más potentes que funcionen con una carga más alta, lo que luego requiere una batería más grande y así sucesivamente. Es un buen acto de equilibrio, y un auricular AR es simplemente demasiado pequeño para acomodar una batería grande como las que se usan en las tabletas de alta resolución.

A primera vista, Oculus Rift no parece sufrir deficiencias similares en el frente del hardware, ya que no tiene compromisos en cuanto a la duración de la batería y la portabilidad. No se basa en un SoC integrado, y una pantalla de 1080p suena deseable; pero, en realidad, no es suficiente para el fotorrealismo. El dispositivo tiene un FOV muy grande y la densidad de píxeles sigue siendo insuficiente.

Para superar este problema, los dispositivos VR tendrían que usar pantallas 4K/UHD de mayor resolución, o incluso pantallas 8K en algún momento en el futuro. La tecnología está casi allí, pero no es barata y es cualquier cosa menos portátil.

Si desea ejecutar los últimos juegos AAA en una pantalla 4K con la configuración de detalles más alta posible, necesita dos tarjetas gráficas discretas de alta gama. Por ejemplo, las tarjetas Nvidia y AMD basadas en las GPU insignia de la generación Maxwell y Hawaii. Para eliminar el desgarro de fotogramas (usando tecnologías similares a G-Sync de Nvidia o FreeSync de AMD), necesita un poco más de potencia, y para hacer 3D adecuado para ambos ojos, necesita aún más potencia de GPU.

La conclusión es: para alimentar un dispositivo 4K VR utilizando la tecnología disponible actualmente, necesitaría al menos dos GPU con un total de 12-14 mil millones de transistores en 28 nm, con un consumo de 350 W a 500 W de potencia, sin contar la CPU y el resto del sistema. . Esta es una estimación conservadora, basada en GPU y CPU disponibles actualmente, y ni siquiera discutamos la idea de alimentar dos pantallas 4K, una por ojo.

El último SoC móvil de Nvidia, el Tegra K1 de 64 bits utilizado en Google Nexus 9, cuenta con 192 núcleos CUDA basados ​​en la arquitectura Kepler, no en el Maxwell más eficiente. Las tarjetas gráficas discretas insignia actuales de la compañía tienen 2048 núcleos Maxwell CUDA que funcionan a velocidades de reloj más altas que los núcleos Kepler en los SoC Tegra móviles.

Los dispositivos de realidad virtual portátiles con gráficos fotorrealistas claramente no estarán disponibles en los próximos años, e incluso los dispositivos con cable como Oculus Rift tienen un largo camino por recorrer. El costo total de la plataforma es otra preocupación. Las PC para juegos capaces de generar velocidades de cuadro reproducibles a 1080p son relativamente baratas, ya que las GPU principales son lo suficientemente rápidas para hacer el trabajo. Pero a 2160p necesitas cuatro veces el poder de la GPU, respaldado por más memoria y una CPU más rápida.

Hay otra forma de abordar este problema, y ​​la revisaré más adelante.

Entonces, ¿qué hizo bien Microsoft?

¿Recuerdas la oferta de Oculus Rift de Facebook que mencioné anteriormente? Solo unos días después de su anuncio, se supo que Microsoft compró activos de propiedad intelectual (IP) relacionados con la realidad aumentada y las computadoras portátiles de Osterhout Design Group (ODG). Algunas de las patentes cubrían "anteojos transparentes con pantalla cercana al ojo" con un elemento óptico parcialmente transmisor.

En otras palabras, Microsoft compró la IP necesaria para crear HoloLens; y, según se informa, el acuerdo cubría docenas de patentes de ODG, incluidas algunas docenas más de solicitudes de patentes en curso. Mientras tanto, se dice que Oculus VR tiene una sola patente, que describe vagamente "un casco de realidad virtual".

Microsoft parece estar tratando de obtener lo mejor de ambos mundos: un FOV amplio generalmente asociado con dispositivos VR y una superficie de visualización transparente adecuada para aplicaciones AR. El enfoque debería permitir que HoloLens utilice mucha menos potencia de procesamiento que los dispositivos de realidad virtual, mientras que al mismo tiempo ofrece más funcionalidad gracias al amplio FOV. En lugar de intentar representar contenido fotorrealista, HoloLens podría salirse con la suya con una resolución y una calidad de imagen ligeramente más bajas debido a la opacidad limitada del contenido que se muestra. No hay necesidad de crear una ilusión de realidad, por lo que hay mucha menos sobrecarga de hardware involucrada. Una gran cantidad de tecnología estándar podría permitir que HoloLens reduzca o elimine el aliasing y genere compuestos atractivos, ya que el telón de fondo ya está allí.

Este hecho limita el atractivo de HoloLens en el nicho de entretenimiento, a diferencia de los verdaderos auriculares VR; pero abre una serie de posibilidades en otras industrias, que van desde la ingeniería y la atención médica hasta la arquitectura y la defensa. HoloLens podría usarse para ayudar a profesionales de la salud, ingenieros, operadores de maquinaria industrial, soldados y fuerzas del orden.

Sin embargo, HoloLens todavía tiene aplicaciones en el espacio del consumidor. Phil Spencer de Microsoft dijo que HoloLens debe ser un producto independiente exitoso y agregó que la compañía ya está buscando formas de usarlo al unísono con PC y consolas Xbox One. El dispositivo podría servir como pantalla de visualización (HUD) para los jugadores, o incluso para los aficionados al ejercicio en los gimnasios.

Enigma de hardware de HoloLens

Microsoft no ha revelado las especificaciones de hardware exactas, por lo que todavía no sabemos qué esperar. No se sabe nada sobre la resolución de la pantalla, los GFLOP de GPU, la conectividad o la duración de la batería. Esto deja mucho espacio para la especulación, que la prensa tecnológica se complace en llenar con pulgadas de columna y clickbait, pero aún no hay nada oficial.

Como dije, HoloLens no debería requerir tanta potencia de GPU como Oculus Rift y productos de realidad virtual similares. Sin embargo, esto no significa que Microsoft pueda salirse con la suya con un SoC barato, como los que se usan comúnmente en los productos móviles. Actualmente, Microsoft utiliza una variedad de chips de diferentes proveedores: Qualcomm Snapdragon SoC con 4G/LTE integrado para teléfonos móviles, chips Intel para tabletas Surface Pro (junto con Nvidia SoC en productos Surface RT obsoletos), junto con APU AMD personalizadas en Xbox One. .

Debido a consideraciones de energía, la opción más obvia sería un SoC Snapdragon, similar a los que se usan en los teléfonos Lumia. Esto no significa que HoloLens tenga tan poca potencia como Google Glass. HoloLens es un dispositivo mucho más grande, con espacio para una batería más grande; y los SoC Snapdragon más recientes son mucho más potentes que el conjunto de chips que se usa en Google Glass (que es significativamente más lento que los chips que se usan en los relojes inteligentes). Los primeros puntos de referencia indican que la GPU Adreno 430 utilizada en los próximos SoC insignia de Qualcomm, como el Snapdragon 810, es una potencia capaz de manejar resoluciones 4K y renderizar contenido 3D relativamente complejo en 1080p.

No se trata solo de un rendimiento de renderizado puro. Las GPU ofrecen un gran potencial informático y se pueden utilizar para mucho más que jugar. Google usó Tegra K1 para Project Tango, que también se ocupa de una serie de tecnologías que podrían ser muy útiles para dispositivos AR o VR: automatización, automóviles sin conductor, etc. Ya mencioné Vuforia, y hay otros jugadores en la industria de GPU, pero Nvidia tiene la ventaja de usar núcleos CUDA: ha sido líder en el mercado de gráficos profesionales y computación GPGPU durante años.

Sin embargo, no deberíamos quedarnos encerrados en la mentalidad de “lo que hay ahí fuera”. Pasará un tiempo antes de que HoloLens salga a la venta, y las generaciones posteriores seguramente contarán con un hardware aún más potente. Los nuevos Atom de 14 nm de Intel llegarán pronto, mientras que los SoC de 14 nm y 16 nm basados ​​en ARM deberían aparecer un par de trimestres más tarde. Los nuevos nodos no planos permitirán aún más rendimiento por vatio, mejorando drásticamente el rendimiento general sin afectar la duración de la batería.

Streaming como alternativa

También existe una alternativa que mencioné anteriormente: la computación en la nube y la transmisión podrían usarse para mostrar contenido 3D complejo que requiere muchos recursos. Los últimos SoC cuentan con módems inalámbricos 802.11ac y LTE rápidos, suficientes para la transmisión de alta resolución. La desventaja de este enfoque, especialmente LTE, es el retraso.

Si el contenido adicional se procesa localmente, en una estación de trabajo de PC o posiblemente incluso en una Xbox One, el retraso debe ser limitado, pero el procesamiento remoto en la nube podría resultar problemático. Por ejemplo, Nvidia está tratando de abordar este problema configurando servidores GRID en ubicaciones estratégicas, en un intento de cubrir los mercados más grandes con transmisión de juegos de bajo retraso. Solo unos pocos milisegundos de retraso adicional podrían comprometer la experiencia del usuario en una aplicación AR.

Un SoC móvil debería ser suficiente para la mayoría de las tareas cotidianas, como Skype y algunas aplicaciones limitadas de realidad aumentada. Sin embargo, si un arquitecto quiere entrar a un sitio de construcción y ver cómo se verá el edificio terminado usando la realidad aumentada, HoloLens tendrá que estar respaldado por más hardware; renderizar escenas complejas con cientos de miles o millones de polígonos, efectos de iluminación avanzados, etc.

La ventaja es que HoloLens podría ofrecer una gran cantidad de funciones listas para usar, con una GPU integrada relativamente poderosa capaz de manejar muchas tareas cotidianas, como transmisión de video de alta resolución, navegación e incluso juegos casuales. Por otro lado, los profesionales podrían emplear 802.11ac o LTE para transmitir contenido más complejo, renderizado de forma remota.

Microsoft prácticamente podría usar la misma plataforma de hardware para usuarios domésticos y profesionales, y estos últimos emplean transmisión local o en la nube para tareas más avanzadas que requieren muchos recursos.

¿Existe un caso de uso y un mercado para HoloLens?

Microsoft mostró HoloLens en varios escenarios diferentes. Si bien las demostraciones fueron bastante interesantes, no explicaron exactamente un caso de uso realista y comercialmente viable para el nuevo dispositivo.

Lo que me gusta de HoloLens es el hecho de que está a medio camino entre los verdaderos dispositivos portátiles, como Google Glass, y las soluciones de realidad virtual con cable, como Oculus Rift. HoloLens no tiene que ser lo suficientemente liviano y portátil para usarlo en la calle, pero al mismo tiempo no tiene que estar conectado a una computadora o fuente de alimentación externa: lo mejor de ambos mundos. También me gusta el hecho de que Microsoft elige liderar en lugar de seguir. HoloLens difiere de los conceptos y productos existentes; es innovador, futurista y original: un soplo de aire fresco de Redmond.

Sin embargo, este enfoque también plantea una serie de preguntas importantes sobre el caso de uso de HoloLens y el tamaño del mercado. No puede reemplazar una pantalla como las soluciones de realidad virtual, pero no se puede usar en situaciones cotidianas debido a su gran volumen y apariencia. Si bien es posible que vea a algunos viajeros y atletas usando anteojos inteligentes, probablemente no verá esquiadores o corredores usando un auricular HoloLens.

¿Qué podrían hacer los usuarios principales con HoloLens? ¿Qué tipo de plataformas de software y sistemas operativos serán compatibles? ¿Qué pasa con las aplicaciones profesionales? ¿Qué sucede con la funcionalidad multiplataforma, las especificaciones de hardware, el precio minorista y la lista de materiales (BOM) de HoloLens?

Aún quedan muchas preguntas por responder, y probablemente pase un tiempo antes de que Microsoft publique toda la información.

Microsoft tendrá que apuntar a los mercados general y profesional al mismo tiempo, con el mismo hardware. Según el precio y la lista de materiales, Microsoft podría aprovechar su base de usuarios de Xbox, así como un segmento del mercado de juegos de PC, para llevar los productos HoloLens a los usuarios principales. Comercializar un producto de este tipo no será fácil si el precio es demasiado alto, pero la base de usuarios está ahí y está dispuesta a gastar mucho dinero en nuevos dispositivos. Un enfoque de mercado convencional también ayudaría a incorporar a más desarrolladores, expandiendo así el ecosistema y creando nuevos casos de uso.

Pero si los productos HoloLens están obligados a tener un precio para el mercado principal, ¿cómo irá Microsoft tras el mercado profesional y ganará algo de dinero en el proceso?

Hace años solía ganarme la vida con gráficos 3D sin conexión y puedo ver mucho potencial en HoloLens. Hay muchos usuarios de 3D/CAD y muchos de ellos estarían de acuerdo. ¿Significa esto que todos los diseñadores podrán elegir un dispositivo HoloLens con un precio para el mercado principal y usarlo para el trabajo? Posiblemente, pero probablemente no.

Hay otras formas de comercializar productos en este espacio. He estado cubriendo el espacio de la GPU durante años, y en ese tiempo he aprendido un par de cosas sobre cómo funciona la industria. Aunque las tarjetas gráficas de gama alta para jugadores acaparan todos los titulares, las verdaderas fuentes de ingresos para Nvidia y AMD son las soluciones informáticas y gráficas profesionales. Son los héroes anónimos de este duopolio. La lista de materiales para una tarjeta de consumo y una tarjeta profesional basada en la misma GPU es aproximadamente la misma, pero las tarjetas profesionales cuestan mucho más, un orden de magnitud más. Ofrecen grandes márgenes y generan muchos ingresos y ganancias, a pesar de los bajos volúmenes generales; puede consultar cualquier informe de ganancias trimestrales de Nvidia para obtener más información.

Microsoft podría recurrir a un enfoque similar. HoloLens podría usar el mismo hardware para ambos mercados, limitar la funcionalidad en los modelos de consumo y expandirla en productos profesionales a través de diferentes niveles de licencia.

Por supuesto, todo esto es solo especulación en este momento, pero así es como funciona este mercado. Microsoft no tiene que reinventar la rueda.