Revisão do Microsoft HoloLens - preenchendo a lacuna entre AR e VR

A Microsoft tem uma longa tradição de apimentar anúncios de produtos relativamente maçantes com demonstrações de tecnologia atraentes, e o anúncio do Windows 10 não foi exceção. A gigante do software aproveitou a oportunidade para criar uma boa quantidade de comentários sobre o HoloLens, um fone de ouvido futurista que oferece um vislumbre do futuro da Realidade Aumentada (AR). No entanto, a Microsoft também tem uma tradição de fracassos de hardware espetaculares, que atingiram o pico sob o regime de Ballmer. Lembra do telefone Kin? Nem eu.

A introdução do HoloLens provavelmente não será um fracasso por vários motivos. Em primeiro lugar, o HoloLens ainda tem um longo caminho a percorrer antes de se tornar um dispositivo comercialmente viável - pode levar alguns trimestres ou alguns anos. Em segundo lugar, o conceito por trás dele é sólido e se baseia em algumas tendências promissoras da indústria, como tecnologia vestível e fones de ouvido de realidade virtual (VR). O HoloLens está tentando ser um pouco diferente agrupando muitas funcionalidades em um único dispositivo, mas nesta revisão do Microsoft HoloLens, vamos dar uma olhada no que já existe e no que está em andamento.

Como este é um blog de engenharia projetado para profissionais de RV e outros engenheiros, não gastarei muito tempo respondendo à pergunta "O que é o HoloLens?" e explicando a diferença entre AR e VR. A tecnologia de realidade aumentada tem uma gama de aplicações potenciais em vários setores, mas aplicações limitadas em entretenimento. A realidade virtual é mais voltada para o entretenimento, embora tenha algumas aplicações profissionais também.

Ambas as tecnologias ainda têm muitas limitações, e vários desafios técnicos precisam ser superados para ganhar apelo no mercado de massa. Este é um processo gradual que levará anos em vez de meses. A tecnologia necessária para criar esses produtos sem quebrar o banco simplesmente não está pronta, mas está chegando lá lentamente.

Vamos dar uma olhada no que está lá fora e o que está faltando.

Limitações de hardware - Google Glass x Oculus Rift x Microsoft HoloLens

O Google Glass foi anunciado no início de 2012 e começou a ser vendido um ano depois a um custo de US$ 1.500. O alto preço significava que estava reservado para um nicho muito pequeno – os primeiros usuários descritos como “exploradores” pela máquina de marketing e relações públicas do Google. O dispositivo oferecia funcionalidade limitada de RA e continha um pequeno projetor de prisma com resolução de 640x360 pixels, alimentado por um processador desatualizado.

Embora tenha conseguido cativar o público por um tempo, o Google Glass dificilmente pode ser descrito como um sucesso. Os desenvolvedores de aplicativos que estavam ansiosos para entrar na onda começaram a perder o interesse, junto com os “exploradores” que pareciam superar a moda em questão de meses. Os últimos rumores apontam para uma nova versão do Google Glass com silício Intel dentro, então pode ser um pouco cedo para um obituário. De qualquer forma, o Google Glass não foi um grande sucesso, não importa como você olhe.

Oculus Rift é talvez o sistema VR mais falado no momento, mas ao contrário do Google Glass, ainda não foi lançado. O Oculus VR trabalha no dispositivo há anos e, no processo, a empresa passou por duas gerações de kits de desenvolvimento. A versão do consumidor deve ser lançada em algum momento de 2015, com uma especificação revisada. Em março de 2014, o Oculus VR foi comprado pelo Facebook por mais de US$ 2 bilhões em dinheiro e ações do Facebook.

O Gear VR da Samsung oferece uma abordagem diferente, pois utiliza o phablet Galaxy Note 4 em vez de uma tela embutida, mas conta com alguma tecnologia desenvolvida pela Oculus. Acho o conceito modular interessante, pois uma abordagem semelhante pode ser empregada com uma variedade de dispositivos móveis de diferentes fornecedores que permitiriam aos usuários atualizar efetivamente o hardware toda vez que adquirissem um novo telefone. A plataforma Vuforia da Qualcomm possui alguns recursos promissores para dispositivos móveis e potenciais aplicativos AR/VR.

Então, o que está faltando? A resposta simples pode ser o poder de processamento, mas é um pouco mais complicado do que isso.

O problema com ambos os conceitos é que eles ainda estão à frente de seu tempo, e a tecnologia ainda precisa se atualizar. O HoloLens da Microsoft provavelmente sofrerá dos mesmos problemas iniciais, mas o conceito da Microsoft é um pouco diferente e, portanto, tem uma chance de superar pelo menos alguns desses problemas.

O Google Glass foi projetado como um wearable leve, o que resultou em vários compromissos. O dispositivo apresentava uma única tela em um prisma grosso na frente do olho direito do usuário. A resolução era muito limitada devido ao campo de visão (FOV). Por exemplo, os monitores de smartwatch tendem a apresentar resoluções verticais semelhantes para um dispositivo que ocupa apenas alguns graus do campo de visão do usuário. O Google Glass era baseado em um antiquado System on Chip (SoC) e tinha vida útil da bateria limitada.

Projetar dispositivos móveis não é fácil e sempre envolve uma série de trocas. Telas de resolução mais alta exigem mais energia da GPU, exigindo o uso de SoCs maiores com GPUs mais potentes trabalhando com uma carga mais alta, o que requer uma bateria maior e assim por diante. É um ato de equilíbrio fino, e um fone de ouvido AR é simplesmente pequeno demais para acomodar uma bateria grande como as usadas em tablets de alta resolução.

À primeira vista, o Oculus Rift não parece sofrer de deficiências semelhantes na parte frontal do hardware, já que não apresenta comprometimentos por causa da vida útil da bateria e da portabilidade. Ele não depende de um SoC integrado, e uma tela de 1080p parece desejável; mas, na realidade, não é suficiente para o fotorrealismo. O dispositivo tem um FOV muito grande e a densidade de pixels ainda é insuficiente.

Para superar esse problema, os dispositivos de RV teriam que usar telas 4K/UHD de resolução mais alta ou até telas 8K em algum momento no futuro. A tecnologia está quase lá, mas não é barata e é tudo menos portátil.

Se você deseja executar os jogos AAA mais recentes em uma tela 4K com as configurações de detalhes mais altas possíveis, você precisa de duas placas gráficas discretas de última geração. Por exemplo, placas Nvidia e AMD baseadas nas GPUs da geração Maxwell e Hawaii. Para eliminar o rasgo de quadros (usando tecnologias semelhantes ao G-Sync da Nvidia ou FreeSync da AMD), você precisa de um pouco mais de energia, e para fazer 3D adequado para ambos os olhos, você precisa de ainda mais energia da GPU.

A conclusão é: para alimentar um dispositivo 4K VR usando a tecnologia atualmente disponível, você precisaria de pelo menos duas GPUs com um total de 12 a 14 bilhões de transistores em 28nm, consumindo de 350W a 500W de energia, sem contar a CPU e o restante do sistema . Esta é uma estimativa conservadora, baseada na GPU e CPUs atualmente disponíveis - e nem vamos discutir a ideia de alimentar duas telas 4K, uma por olho.

O mais recente SoC móvel da Nvidia, o Tegra K1 de 64 bits usado no Google Nexus 9, possui 192 núcleos CUDA baseados na arquitetura Kepler, não no Maxwell mais eficiente. As atuais placas gráficas discretas da empresa possuem núcleos Maxwell CUDA 2048 rodando em clocks mais altos do que os núcleos Kepler em SoCs Tegra móveis.

Dispositivos VR portáteis com gráficos fotorrealistas estão claramente indisponíveis nos próximos anos, e mesmo dispositivos com fio como o Oculus Rift têm um longo caminho a percorrer. O custo geral da plataforma é outra preocupação. PCs para jogos capazes de produzir taxas de quadros jogáveis ​​em 1080p são relativamente baratos, já que as GPUs convencionais são rápidas o suficiente para fazer o trabalho. Mas em 2160p você precisa de quatro vezes o músculo GPU, apoiado por mais memória e uma CPU mais rápida.

Há outra maneira de resolver este problema, e vou falar sobre isso mais tarde.

Então, o que a Microsoft acertou?

Lembre-se do acordo Oculus Rift do Facebook que mencionei anteriormente? Apenas alguns dias após o anúncio, surgiu que a Microsoft comprou ativos de propriedade intelectual (IP) relacionados à realidade aumentada e computadores vestíveis do Osterhout Design Group (ODG). Algumas das patentes cobriam “óculos de exibição de perto dos olhos transparentes” com um elemento óptico de transmissão parcial.

Em outras palavras, a Microsoft comprou o IP necessário para criar o HoloLens; e o acordo supostamente cobria dezenas de patentes ODG, incluindo mais algumas dezenas de pedidos de patente em andamento. Enquanto isso, diz-se que o Oculus VR tem apenas uma única patente, que descreve vagamente “um fone de ouvido de realidade virtual”.

A Microsoft parece estar tentando obter o melhor dos dois mundos – um amplo FOV geralmente associado a dispositivos VR e uma superfície de exibição transparente adequada para aplicativos AR. A abordagem deve permitir que o HoloLens utilize muito menos poder de processamento do que os dispositivos VR e, ao mesmo tempo, ofereça mais funcionalidade graças ao amplo FOV. Em vez de tentar renderizar conteúdo fotorrealista, o HoloLens conseguiu uma resolução e qualidade de imagem um pouco mais baixas devido à opacidade limitada do conteúdo exibido. Não há necessidade de criar uma ilusão de realidade, portanto, há muito menos sobrecarga de hardware envolvida. Muita tecnologia de prateleira pode permitir que o HoloLens reduza ou elimine o aliasing e gere compostos de boa aparência, já que o pano de fundo já está lá.

Esse fato limita o apelo do HoloLens no nicho de entretenimento, em oposição aos verdadeiros fones de ouvido VR; mas abre uma série de possibilidades em outros setores, desde engenharia e saúde até arquitetura e defesa. O HoloLens pode ser usado para auxiliar profissionais de saúde, engenheiros, operadores de máquinas industriais, soldados e policiais.

No entanto, o HoloLens ainda tem aplicativos no espaço do consumidor. Phil Spencer, da Microsoft, disse que o HoloLens precisa ser um produto independente de sucesso, acrescentando que a empresa já está procurando maneiras de usá-lo em conjunto com PCs e consoles Xbox One. O dispositivo pode servir como um heads up display (HUD) para gamers, ou até mesmo para aficionados por fitness em academias.

Enigma do Hardware HoloLens

A Microsoft não revelou as especificações exatas de hardware, então ainda não sabemos o que esperar. Não há nenhuma palavra sobre resolução de tela, GPU GFLOPs, conectividade ou duração da bateria. Isso deixa muito espaço para especulações, que a imprensa técnica fica feliz em preencher com polegadas de coluna e clickbait, mas nada é oficial ainda.

Como eu disse, o HoloLens não deve exigir tanta potência de GPU quanto o Oculus Rift e produtos VR semelhantes. No entanto, isso não significa que a Microsoft possa se safar com um SoC barato, como os comumente usados ​​em produtos móveis. Atualmente, a Microsoft usa uma variedade de chips de diferentes fornecedores - SoCs Qualcomm Snapdragon com 4G/LTE integrado para telefones celulares, chips Intel para tablets Surface Pro (junto com SoCs Nvidia em produtos Surface RT extintos), juntamente com APUs AMD personalizadas no Xbox One .

Devido a considerações de energia, a escolha mais óbvia seria um Snapdragon SoC, semelhante aos usados ​​nos telefones Lumia. Isso não significa que o HoloLens seria tão fraco quanto o Google Glass. O HoloLens é um dispositivo muito maior, com espaço para uma bateria maior; e os mais recentes SoCs Snapdragon são muito mais poderosos que o chipset usado no Google Glass (que é significativamente mais lento que os chips usados ​​em smartwatches). Os primeiros benchmarks indicam que a GPU Adreno 430 usada nos próximos SoCs da Qualcomm, como o Snapdragon 810, é uma potência capaz de lidar com resoluções 4K e renderizar conteúdo 3D relativamente complexo em 1080p.

Não se trata apenas de desempenho de renderização puro. As GPUs oferecem muito potencial de computação e podem ser usadas para muito mais do que jogos. O Google usou o Tegra K1 para o Projeto Tango, que também lida com várias tecnologias que podem ser muito úteis para dispositivos AR ou VR - automação, carros sem motorista e assim por diante. Já mencionei Vuforia, e existem outros players na indústria de GPUs, mas a Nvidia tem a vantagem de usar núcleos CUDA – é líder de mercado em gráficos profissionais e mercados de computação GPGPU há anos.

No entanto, não devemos ficar presos à mentalidade “o que está lá fora”. Vai demorar um pouco até que o HoloLens seja colocado à venda, e as gerações subsequentes devem apresentar hardware ainda mais poderoso. Os novos Atoms de 14nm da Intel estão chegando em breve, enquanto os SoCs de 14nm e 16nm baseados em ARM devem aparecer alguns trimestres depois. Os novos nós não planos permitirão ainda mais desempenho por watt, melhorando drasticamente o desempenho geral sem prejudicar a vida útil da bateria.

Streaming como alternativa

Há também uma alternativa que mencionei anteriormente – computação em nuvem e streaming podem ser usados ​​para exibir conteúdo 3D complexo e com muitos recursos. Os mais recentes SoCs apresentam modems LTE rápidos e sem fio 802.11ac, suficientes para streaming de alta resolução. A desvantagem dessa abordagem, especialmente LTE, é o atraso.

Se o conteúdo adicional for renderizado localmente, em uma estação de trabalho de PC ou possivelmente até mesmo em um Xbox One, o atraso deve ser limitado, mas a renderização remota na nuvem pode ser problemática. Por exemplo, a Nvidia está tentando resolver esse problema configurando servidores GRID em locais estratégicos, na tentativa de cobrir os maiores mercados com streaming de jogos com baixo atraso. Apenas alguns milissegundos de atraso adicional podem comprometer a experiência do usuário em um aplicativo de RA.

Um SoC móvel deve ser suficiente para a maioria das tarefas diárias, como Skype e alguns aplicativos limitados de realidade aumentada. No entanto, se um arquiteto quiser entrar em um canteiro de obras e ver como o edifício finalizado ficará usando a realidade aumentada, o HoloLens precisará ser apoiado por mais hardware; renderizando cenas complexas com centenas de milhares ou milhões de polígonos, efeitos de iluminação avançados e assim por diante.

A vantagem é que o HoloLens pode oferecer muitas funcionalidades prontas para uso, com uma GPU integrada relativamente poderosa capaz de lidar com muitas tarefas diárias, como streaming de vídeo de alta resolução, navegação e até jogos casuais. Por outro lado, os profissionais podem empregar 802.11ac ou LTE para transmitir conteúdo mais complexo, renderizado remotamente.

A Microsoft poderia praticamente usar a mesma plataforma de hardware para usuários domésticos e profissionais, com o último empregando streaming local ou em nuvem para tarefas mais avançadas e com uso intensivo de recursos.

Existe um caso de uso e um mercado para o HoloLens?

A Microsoft exibiu o HoloLens em vários cenários diferentes. Embora as demos fossem bastante interessantes, elas não explicavam exatamente um caso de uso realista e comercialmente viável para o novo dispositivo.

O que eu gosto no HoloLens é o fato de estar a meio caminho entre os verdadeiros wearables, como o Google Glass, e as soluções de VR com fio, como o Oculus Rift. O HoloLens não precisa ser leve e portátil o suficiente para ser usado na rua, mas ao mesmo tempo não precisa ser conectado a um computador ou fonte de alimentação externa – o melhor dos dois mundos. Também gosto do fato de que a Microsoft está escolhendo liderar em vez de seguir. O HoloLens difere dos conceitos e produtos existentes; é inovador, futurista e original - uma lufada de ar fresco de Redmond.

No entanto, essa abordagem também levanta várias questões importantes sobre o caso de uso do HoloLens e o tamanho do mercado. Ele não pode substituir uma tela como as soluções de RV, mas não pode ser usado em situações cotidianas devido ao seu tamanho e aparência. Embora você possa ver alguns passageiros e atletas usando óculos inteligentes, provavelmente não verá esquiadores ou corredores usando um fone de ouvido HoloLens.

O que os usuários comuns podem fazer com o HoloLens? Que tipo de plataformas de software e sistemas operacionais serão suportados? E as aplicações profissionais? E quanto à funcionalidade de plataforma cruzada do HoloLens, especificações de hardware, preço de varejo e lista de materiais (BOM)?

Muitas perguntas ainda precisam ser respondidas, e provavelmente levará um tempo até que a Microsoft libere todas as informações.

A Microsoft terá que visar os mercados mainstream e profissional ao mesmo tempo, com o mesmo hardware. Dependendo do preço e do BOM, a Microsoft poderia alavancar sua base de usuários do Xbox, bem como um segmento do mercado de jogos para PC, para levar os produtos HoloLens aos usuários comuns. A comercialização de tal produto não será fácil se o preço for muito alto, mas a base de usuários está lá - e está disposta a gastar muito dinheiro em novos gadgets. Uma abordagem de mercado mainstream também ajudaria a atrair mais desenvolvedores, expandindo assim o ecossistema e criando novos casos de uso.

Mas se os produtos HoloLens têm preços para o mercado convencional, como a Microsoft irá atrás do mercado profissional e ganhará algum dinheiro no processo?

Anos atrás, eu costumava ganhar a vida com gráficos 3D offline e posso ver muito potencial no HoloLens. Existem muitos usuários de 3D/CAD por aí e muitos deles concordam. Isso significa que todo designer poderá escolher um dispositivo HoloLens com preço para o mercado convencional e usá-lo para o trabalho? Possivelmente, mas provavelmente não.

Existem outras formas de comercialização de produtos neste espaço. Venho cobrindo o espaço da GPU há anos e, nesse período, aprendi uma ou duas coisas sobre como a indústria opera. Embora as placas gráficas de última geração para jogadores recebam todas as manchetes, as verdadeiras vacas de dinheiro da Nvidia e da AMD são as soluções gráficas e de computação profissionais. Eles são os heróis desconhecidos desse duopólio. A BOM para uma placa de consumidor e uma placa profissional baseada na mesma GPU é praticamente a mesma, mas as placas profissionais custam muito mais, uma ordem de magnitude mais. Eles oferecem margens enormes e geram muita receita e lucro, apesar dos baixos volumes gerais - você pode verificar qualquer relatório trimestral de ganhos da Nvidia para obter mais informações.

A Microsoft poderia recorrer a uma abordagem semelhante. O HoloLens pode usar o mesmo hardware para ambos os mercados, limitar a funcionalidade em modelos de consumo e expandi-lo em produtos profissionais por meio de diferentes níveis de licenciamento.

Claro, tudo isso é apenas especulação neste momento - mas é assim que esse mercado funciona. A Microsoft não precisa reinventar a roda.