Explorando a história da inteligência de negócios

O que é Inteligência de Negócios?

Business intelligence (BI), termo hoje intrinsecamente associado à tecnologia da informação, vem evoluindo há mais de 150 anos. Embora suas origens sejam anteriores à invenção dos computadores, foi somente depois que eles foram difundidos que o BI cresceu em relevância e seu desenvolvimento passou a ser emparelhado com a evolução dos computadores e bancos de dados.

BI usando caneta e papel

O primeiro uso do termo “inteligência de negócios” é amplamente atribuído ao Sr. Richard Miller Devens, em seu livro Cyclopadia of Commercial and Business Anecdotes, publicado pela primeira vez em 1865. Ele o usou para descrever como Sir Henry Furnese, um banqueiro de sucesso, lucrou de informações coletando ativamente e agindo sobre elas antes de sua competição. Isso apontou o fato de que era mais confiável usar dados e evidências empíricas, em vez de instinto, para desenvolver uma estratégia de negócios. A ideia foi reforçada por outros que viram valor na informação.

Durante a última década de 1800, Frederick Taylor introduziu o primeiro sistema formalizado de análise de negócios nos Estados Unidos. Seu sistema de gestão científica começou com estudos de tempo que analisavam técnicas de produção e movimentos corporais dos trabalhadores para encontrar maiores eficiências que impulsionavam a produção industrial.

Taylor acabou se tornando consultor de Henry Ford, que no início de 1900 começou a medir o tempo que cada componente de seu Ford Modelo T levava para ser concluído em sua linha de montagem. Seu trabalho e seu sucesso revolucionaram a indústria manufatureira em todo o mundo. No entanto, ele ainda usava caneta e papel para isso.

Business Intelligence recebe um impulso de computadores

Os computadores eletrônicos eram embrionários na década de 1930, mas foram desenvolvidos rapidamente durante a Segunda Guerra Mundial, como parte do esforço dos aliados para decifrar os códigos alemães.

Até a década de 1950, os computadores dependiam principalmente de cartões perfurados ou fitas perfuradas para armazenar dados. Eram pilhas enormes de cartões com furos minúsculos, que armazenavam as informações a serem processadas pelos computadores. Em 1956, porém, a IBM inventou o primeiro disco rígido, possibilitando armazenar grandes quantidades de informações com maior flexibilidade de acesso.

Não muito depois disso, em 1958, o pesquisador da IBM Hans Peter Luhn publicou um artigo histórico chamado A Business Intelligence System. Ele teorizou sobre o potencial de um sistema de “disseminação seletiva” de documentos para “pontos de ação” com base em “perfis de interesse”. Seu trabalho tem um significado notável até hoje, já que ele previu várias tendências de inteligência de negócios que são de ponta hoje em dia, como a capacidade de os sistemas de informação aprenderem e preverem com base nos interesses dos usuários. Hoje chamamos de aprendizado de máquina. Luhn é popularmente reconhecido como o pai da inteligência de negócios.

Mesmo que o conceito proposto por Luhn tenha chamado a atenção de vários interessados, a ideia foi considerada muito cara na época para ter qualquer utilidade prática. Era necessário mais progresso tecnológico para torná-lo uma solução economicamente viável.

Na década seguinte, o uso de computadores explodiu, mesmo considerando que cada computador era uma máquina gigantesca que ocupava todo o andar de um prédio e precisava ser gerenciada por vários engenheiros altamente qualificados para funcionar corretamente. Os especialistas novamente abordaram a ideia de usar computadores para extrair conclusões dos dados, mas o principal problema era que não havia um método centralizado disponível para reunir todos os dados em um só lugar. Os dados, por si só, não poderiam gerar nenhum insight. Para resolver esse desafio, foram projetados os primeiros sistemas de gerenciamento de banco de dados. Mais tarde, eles seriam simplesmente chamados de bancos de dados. Essa primeira geração permitiu as primeiras buscas em banco de dados, utilizando uma estratégia de árvores binárias. Essa estratégia, embora tenha resolvido vários problemas na época, é considerada muito pesada e ineficiente hoje em dia. Mesmo assim, para as empresas que podiam pagar, essa nova ferramenta forneceu seu valor, sendo usada para finalmente tirar conclusões a partir dos dados disponíveis.

Tecnologias de BI melhoram: grandes players entram em campo

Em 1970, Edgar Codd da IBM publicou um artigo chamado A Relational Model of Data for Large Shared Data Banks. Ele abriu o caminho para bancos de dados relacionais de última geração, permitindo uma capacidade muito mais ampla de armazenar e manipular dados. Em um movimento estranho, no entanto, a IBM se absteve de implementar o projeto de Codd para preservar a receita de seus atuais sistemas de banco de dados. Foi somente depois que os concorrentes começaram a implementá-los que a IBM seguiu o exemplo.

A essa altura, havia mercado suficiente para permitir que os primeiros provedores de inteligência de negócios aparecessem. Entre eles estavam SAP, Siebel e JD Edwards. Na época, eles eram chamados de sistemas de suporte à decisão (DSS).

O grande problema neste momento era que esses bancos de dados sofriam de problemas de “silo”. Por serem muito unidimensionais, a flexibilidade de seu uso era muito limitada. Mesmo questões simples, como um banco de dados codificando cidades como “OH, NJ e NY”, enquanto outro usando “Ohio, Nova Jersey e Nova York” tornou a referência cruzada uma tarefa assustadora.

No entanto, cada vez mais casos bem-sucedidos de uso lucrativo de dados surgiram. Um dos mais famosos na época veio da Nielsen. Utilizada para medições de audiência, a ferramenta de marketing conhecida como classificação Nielsen era usada para medir quantas pessoas estavam assistindo a um determinado programa de TV a qualquer momento, usando um aparelho chamado Audimeter, que era conectado a um aparelho de televisão e registrava qual canal estava sendo observado.

As classificações da Nielsen foram consideradas o relatório de classificação nacional mais visto na indústria de TV. No entanto, quatro vezes por ano, havia “semanas negras” – semanas em que as classificações da Nielsen não eram relatadas. Como não havia uma maneira segura de medir a audiência nessas “semanas negras”, as redes de TV encheram suas programações com reprises.

Tanto a indústria quanto o público já estavam acostumados com as “semanas negras”, mas elas terminaram em setembro de 1973. A Nielsen lançou seu Storage Instantaneous Audimeter (SIA), conectando 1.200 residências diretamente ao computador de inteligência de negócios da empresa na Flórida. Ele poderia produzir classificações nacionais em apenas 36 horas, muito menos do que uma ou duas semanas do sistema mais antigo da empresa. As classificações nacionais estariam disponíveis todos os dias da semana, todas as semanas do ano. Não havia mais necessidade de “semanas negras” e os dados estavam muito mais disponíveis.

Perto do final dos anos 70, Larry Ellison e dois amigos lançaram a primeira versão comercial do banco de dados Oracle. Foi o primeiro verdadeiro sistema de gerenciamento de banco de dados relacional do mercado, substituindo as ideias usadas até então de bancos de dados hierárquicos e bancos de dados em rede por uma estrutura mais robusta, que permitia pesquisas muito mais flexíveis. Essa tecnologia ditaria a história e as tendências do BI nas próximas décadas.

Importância do BI cresce: precisamos de mais espaço!

Preços mais baixos para espaço de armazenamento e melhores bancos de dados permitiram a próxima geração de soluções de inteligência de negócios. Ralph Kimball e Bill Inmon propuseram duas estratégias diferentes, mas semelhantes, para o problema de ter todos os dados do negócio no mesmo lugar para poder analisá-los. Estes eram armazéns de dados (DW). Inmon é reconhecido por muitos como o pai do data warehouse.

Os data warehouses são bancos de dados projetados para agregar muitos dados de outras fontes de dados (principalmente outros bancos de dados), permitindo uma análise muito mais profunda com a capacidade de fazer referência cruzada dessas diferentes fontes. Ainda era, no entanto, muito técnico e caro. Os relatórios precisavam ser executados e mantidos por uma equipe técnica de TI cara.

A alta administração da época vivia das saídas de soluções de BI como Crystal Reports e Microstrategy. E, claro, havia o Microsoft Excel (lançado em 1985). A inteligência de negócios passou a ser parte integrante das ferramentas disponíveis para o processo de tomada de decisão.

Em 1989, Howard Dresdner, do Gartner Group, contribuiu para popularizar o termo “inteligência de negócios”, usando-o como um termo abrangente para descrever “conceitos e métodos para melhorar a tomada de decisões de negócios usando sistemas de suporte baseados em fatos”.

Inteligência de Negócios 1.0

Nos anos 90, os custos de data warehouse diminuíram à medida que mais concorrentes entraram no mercado e mais profissionais de TI se familiarizaram com a tecnologia. Este foi o período de “Business Intelligence 1.0”.

Os dados agora eram comumente acessíveis à equipe corporativa em geral, não apenas à alta administração. No entanto, o problema neste momento era que fazer novas perguntas ainda era muito caro. Uma vez que uma pergunta fosse “projetada”, a resposta estaria disponível rapidamente, mas apenas para essa pergunta.

Para reduzir esse esforço, algumas novas ferramentas e “blocos de construção” foram desenvolvidos para acelerar o processo de diferentes consultas:

• ETL (extrair, transformar e carregar) era um conjunto de ferramentas, semelhante a uma linguagem de programação, que facilitava o projeto do fluxo de dados dentro de um data warehouse.
• O OLAP (processamento analítico online) ajudou a criar diferentes opções de visualização para os dados consultados, capacitando os analistas a extrair melhores conclusões das informações em mãos.

Até hoje, as ferramentas ETL e OLAP ainda são uma parte crucial das soluções de inteligência de negócios.

Este também foi o período em que os sistemas de planejamento de recursos empresariais (ERP) se tornaram populares. São enormes plataformas de software de gerenciamento que integram aplicativos para gerenciar e automatizar aspectos de um negócio. Eles também forneceram dados estruturados para os data warehouses e nos anos seguintes se tornariam o coração de todas as grandes empresas do mundo.

Em 1995, a Microsoft lançou o Windows 95, o primeiro sistema operacional “amigável” – e os computadores se tornaram itens domésticos comuns. Isso teria um impacto profundo em como as pessoas produziram e consumiram dados nas décadas seguintes.

BI interrompido: explosão de dados no novo milênio

No ano 2000, as soluções de business intelligence já estavam estabelecidas como um “must have” para todas as empresas de médio e grande porte. Agora era amplamente considerado um requisito para se manter competitivo.

Do ponto de vista dos provedores de soluções, a abundância de soluções começou a se aglutinar nas mãos de alguns grandes concorrentes, como IBM, Microsoft, SAP e Oracle.

Alguns novos conceitos surgiram durante este período. A dificuldade em manter seus data warehouses atualizados fez com que algumas empresas repensassem sua abordagem, transformando seu DW em sua “única fonte de verdade”. Para dados já existentes, outros programas usariam as informações fornecidas pelo DW em vez de usar as suas próprias, eliminando assim a maioria dos problemas de incompatibilidade de dados. Era mais fácil falar do que fazer, oferecendo muitos desafios técnicos. O conceito, no entanto, foi tão útil que nos anos seguintes as soluções disponíveis no mercado se adaptariam para empregar essa estratégia.

À medida que os dados se tornavam cada vez mais abundantes e as ferramentas de BI provavam sua utilidade, o esforço de desenvolvimento foi direcionado para aumentar a velocidade com que as informações seriam disponibilizadas e reduzir a complexidade de acessá-las. As ferramentas tornaram-se mais fáceis de usar, e pessoas não técnicas já podiam coletar dados e obter insights por conta própria, sem a ajuda do suporte técnico.

No início dos anos 2000, o boom das plataformas de redes sociais abriu caminho para que a opinião do público em geral ficasse disponível gratuitamente na internet, e os interessados ​​pudessem coletar (ou “minerar”) os dados e analisá-los. Em 2005, a crescente interconectividade do mundo dos negócios significava que as empresas precisavam de informações em tempo real onde os dados de eventos pudessem ser incorporados nos data warehouses à medida que aconteciam em tempo real.

Este é o ano em que o Google Analytics foi introduzido, fornecendo uma maneira gratuita para os usuários analisarem os dados de seu site. Este também é o ano em que o termo big data foi usado pela primeira vez. Roger Magoulas, da O'Reilly Media, usou-o para se referir a “um grande conjunto de dados que é quase impossível de gerenciar e processar usando ferramentas tradicionais de inteligência de negócios”.

Para lidar com o espaço de armazenamento adicional e o poder de computação necessários para gerenciar essa quantidade de dados exponencialmente crescente, as empresas começaram a procurar outras soluções. Construir computadores maiores e mais rápidos estava fora de questão, então usar várias máquinas ao mesmo tempo tornou-se uma opção melhor. Esta foi a semente da computação em nuvem .

Usos Contemporâneos do BI

Nos últimos 10 anos, big data, computação em nuvem e ciência de dados tornaram-se palavras conhecidas por praticamente qualquer pessoa. É difícil neste momento reconhecer quais novos avanços foram mais impactantes nestes últimos anos. No entanto, existem alguns casos interessantes que mostraram o crescente poder das ferramentas analíticas modernas.

Publicidade, Cookies e AdTech

Em 2012, o The New York Times publicou um artigo descrevendo como a Target acidentalmente descobriu a gravidez de uma adolescente do ensino médio antes de seus pais. Por meio de análises, eles identificaram 25 produtos que, quando comprados juntos, indicam que uma mulher provavelmente está grávida. O valor dessa informação era que a Target poderia enviar cupons para a gestante em um período em que os hábitos de compras da mulher pudessem mudar.

Um pai enfurecido entrou em um Target nos arredores de Minneapolis e exigiu ver o gerente. Ele reclamou que sua filha recebia cupons para roupas de bebê, embora ela ainda estivesse no ensino médio. O gerente desculpou-se profundamente em nome da empresa, mas alguns dias depois o pai ligou de volta para se desculpar: “Acontece que houve algumas atividades em minha casa que eu não estava completamente ciente. Ela deve nascer em agosto. Eu te devo desculpas."

Este exemplo anedótico mostra o poder contemporâneo da análise de dados.

Política

A estratégia da campanha de reeleição de Obama foi fortemente construída com base em análises. Muitos especialistas a apontam como uma das principais razões de seu sucesso. A estratégia, projetada pelo gerente de campanha Jim Messina, foi focada em coletar dados sobre os eleitores e usá-los para garantir que eles 1) se registrassem para votar, 2) fossem persuadidos a votar em Obama e 3) aparecessem para votar no dia da eleição. Cerca de 100 analistas de dados fizeram parte do esforço, usando um ambiente executado em HP Vertica e codificado em R e Stata.

Várias iniciativas foram aplicadas para atingir esses objetivos, uma das quais foi a Airwolf. Construído para integrar os esforços das equipes de campo e digitais, ele garantiu que, uma vez que um eleitor fosse contatado pela equipe de campo em uma campanha de porta em porta, seus interesses seriam registrados, para que eles recebessem e-mails frequentes dos organizadores locais adaptados especificamente às questões de campanha favoritas de cada um.

Com as ferramentas e os dados certos, os analistas podem responder a praticamente qualquer pergunta com rapidez e facilidade, independentemente da origem dos dados. O sucesso da campanha de Obama tornou os ambientes de análise de big data um requisito padrão para todas as campanhas desde então.

Ciência

O Projeto Genoma Humano foi concluído em 2003, mas deixou muitas perguntas sem resposta. Apesar de mapear toda a sequência de pares de bases de nucleotídeos que compõem o DNA humano, entender verdadeiramente como a genética humana funciona exigia um estudo mais intensivo – e era uma aplicação perfeita para big data. Um genoma humano típico contém mais de 20.000 genes, cada um composto por milhões de pares de bases. O simples mapeamento de um genoma requer uma centena de gigabytes de dados, e o sequenciamento de vários genomas e o rastreamento de interações gênicas multiplica esse número muitas vezes – centenas de petabytes, em alguns casos.

Ao aplicar análises em seu estudo publicado em 2016, cientistas da Universidade de Haifa puderam observar o que é chamado de “caráter social” dos genes. O que os cientistas há muito querem descobrir é o funcionamento interno de efeitos genéticos complexos que participam da criação de doenças complexas. Esse objetivo tem sido particularmente difícil, pois as expressões genéticas de certas doenças geralmente vêm da combinação de vários marcadores genéticos interagindo entre si. Assim, os pesquisadores não apenas teriam que vasculhar uma sequência genética inteira, mas também teriam que rastrear as interações entre vários genes diferentes.

Embora ainda haja muitos dados a serem analisados, o caminho está aberto para entender e curar um grande número de defeitos genéticos, grandes e pequenos.

A estrada à frente

Chegamos agora a um momento em que o Facebook pode reconhecer seu rosto em fotos, em que o Google pode prever qual tipo de anúncio melhor se adequa ao seu perfil, em que a Netflix pode dar sugestões sobre quais programas assistir. É um momento em que você pode falar com seu telefone, não apenas com alguém do outro lado da linha telefônica. Ser capaz de lidar e processar enormes quantidades de dados foi um passo primordial para entender como essas maravilhas surgiram.

Big data ainda é uma tendência crescente. Cerca de 90% dos dados disponíveis foram criados nos últimos dois anos. Na conferência Techonomy, em 2010, Eric Schmidt afirmou que “foram 5 exabytes de informação criados pelo mundo inteiro entre o alvorecer da civilização e 2003. Agora essa mesma quantidade é criada a cada dois dias”.

O manuseio de uma quantidade tão grande de dados ainda apresenta muitos desafios. A qualidade de dados, uma das primeiras e mais antigas dores de cabeça da inteligência de negócios, ainda é um campo exigente. Analytics, o conjunto de habilidades necessário para ajudar a entender a enorme pilha de dados que as empresas estão coletando também está em alta demanda. Existem agora muitos tipos de análise: análise descritiva, análise preditiva, análise prescritiva, análise de streaming, análise automatizada etc. A análise usa várias tecnologias de ponta para extrair insights de dados, como inteligência artificial, aprendizado de máquina e muitas estatísticas modelos. É finalmente um momento em que é legal ser um matemático.

As ferramentas de BI agora são frequentemente projetadas com um setor específico em mente, seja saúde, aplicação da lei, etc. Agora ele funciona em vários dispositivos e usa várias ferramentas de visualização, permitindo que qualquer pessoa aplique raciocínio aos dados por meio de interfaces visuais interativas. Mobile BI é agora uma realidade.

Ao combinar os pontos fortes de big data, aprendizado de máquina e análise, sua vida pode ser muito diferente no futuro. Talvez você não precise mais ir ao supermercado – sua geladeira pedirá o que você provavelmente precisará, com base em seus hábitos alimentares. Talvez você não ligue para o seu médico para dizer que está doente, porque eles vão ligar para você antes mesmo de você começar a sentir os primeiros sintomas.

A humanidade agora vive na era da informação, e a inteligência de negócios é uma característica crucial do nosso tempo, ajudando-nos a entender tudo isso. A análise de negócios agora é até um programa de graduação em muitas universidades. A história da inteligência de negócios é bastante recente, mas está acelerando e ficando mais densa a cada dia. Os melhores dias de BI ainda estão à nossa frente.