Pequenos dados, grandes oportunidades

Publicados: 2022-03-11

Sumário executivo

O que são grandes dados?
  • "Big data" é uma medida subjetiva que descreve conjuntos de dados tão grandes que não podem ser gerenciados e analisados ​​por ferramentas típicas de software de banco de dados.
  • Esses conjuntos são analisados ​​computacionalmente para revelar padrões, tendências e associações, especialmente no que diz respeito ao comportamento e às interações humanas.
  • Big data e analytics tornaram-se mainstream com o advento da internet, comércio eletrônico, mídia social e a interconectividade de dispositivos – tudo isso contribuiu para o aumento material no volume de dados analisáveis ​​necessários para que o big data se torne uma realidade.
  • Gartner e IBM desconstroem big data nos quatro Vs: Volume , Velocity , Variety e Veracity — cada um uma parte constituinte necessária para transformar big data em valor monetizável.
O que são dados pequenos?
  • Small data, também uma medida subjetiva, é definido como conjuntos de dados pequenos o suficiente em volume e formato para torná-los acessíveis, informativos, acionáveis ​​e compreensíveis por pessoas sem o uso de sistemas e máquinas complexas para análise.
  • Small data não se estabeleceu como uma categoria autônoma até o surgimento do big data e, portanto, representa um derivado deste último.
  • As pequenas empresas que consideram uma estratégia de análise devem se concentrar inicialmente no uso de pequenos dados para gerar insights acionáveis ​​em seus clientes antes de amadurecer para aplicativos de big data para análises mais prescritivas e preditivas.
Defina análise de dados.
  • A análise de dados é a disciplina de longa data em que estatísticos e cientistas de dados altamente treinados analisam conjuntos de amostras estatisticamente significativos (ou seja, grandes) usando programas de software sofisticados para identificar padrões e tendências. Essa análise permite insights úteis para tomar melhores decisões, principalmente em torno das interações com o cliente.
  • Nos últimos anos, o software que possibilita esse trabalho tornou-se mais acessível, poderoso e fácil de usar, permitindo assim que o cidadão cientista de dados surja e comece a realizar projetos que antes eram domínio de especialistas técnicos altamente treinados.

Introdução

Dados e análises tornaram-se rapidamente palavras de ordem no mundo dos negócios. Seria difícil decifrar um diário sem alguma referência a empresas com visão de futuro “usando dados de maneira inteligente” para obter insights sobre o comportamento do cliente, realizar análises de risco ou gerenciar sua infraestrutura com mais eficiência. Grandes empresas ricas em dados, especialmente aquelas da variedade regulamentada, estão envolvidas na tomada de decisões orientadas por dados há anos, melhor exemplificado pelo pioneirismo da Capital One em análise de dados para entender melhor seus clientes – insights posteriormente usados ​​para lançar campanhas de marketing impactantes que levaram ao seu grande sucesso.

Mas, apesar do início do nicho, a utilização de dados rapidamente se tornou mainstream. Existem poucas razões credíveis hoje para uma determinada empresa, independentemente do tamanho e da mão de obra, não ter a análise como um processo/capacidade de negócios principal. As objeções tradicionais, como custo, recursos e experiência, não são mais suficientes. Pelo contrário, os dados gerados internamente estão rapidamente se tornando um ativo estratégico onipresente, alavancado como qualquer outro, por empresas competitivas que buscam se manter competitivas.

Este artigo procura apresentar rapidamente seus leitores ao mundo de dados e análises, percorrendo a dinâmica do mercado, ferramentas, players e soluções exclusivas para ambos, antes de dedicar a segunda metade a um guia prático de implementação e estrutura para pequenas empresas.

Guia de um leigo para Big e Small Data

Com o advento da internet e com ela o comércio eletrônico, as mídias sociais e a interconectividade dos dispositivos veio uma explosão no volume de dados globalmente disponíveis e analisáveis ​​para quem possui as ferramentas para aproveitá-los. Cada tweet, postagem, curtir, deslizar para a esquerda, deslizar para a direita, tocar duas vezes, revisão, texto e transação – cada um é um dado utilizável para mapear nossas pegadas digitais que contam tudo sobre quem somos, como tomamos decisões, onde e por quê. Esses dados, apropriadamente chamados de “big data” pela vastidão, profundidade e complexidade de sua forma, abriram um mar de possibilidades em análises prescritivas e preditivas, possibilitando a hiper personalização de muitos dos produtos que consumimos diariamente.

Formalmente, big data descreve grandes conjuntos de dados que podem ser analisados ​​computacionalmente para revelar padrões, tendências e associações, na maioria das vezes relacionadas ao comportamento e interações humanas. Para que os dados sejam chamados de “grandes”, o conjunto/banco deve ser tão grande que exija métodos avançados de dados e sistemas complexos para extrair valor deles.

Em um relatório de pesquisa de 2001, o META Group (agora Gartner) enquadrou big data em três dimensões denominados três Vs de dados. São eles: Volume (quantidade), Velocidade (velocidade de geração/transmissão) e Variedade (faixa de tipo e fonte). Esses três Vs foram posteriormente expandidos em Quatro Vs pela IBM, para incluir a Veracidade (qualidade/integridade) dos dados como a dimensão final necessária para capturar valor.

Gráfico 1: Os Quatro Vs do Big Data

…mas você provavelmente já ouviu falar de big data. Small data, por outro lado, é uma subclasse de dados considerada modesta o suficiente para torná-la acessível, informativa e acionável pelas pessoas, sem a necessidade de ferramentas analíticas excessivamente complexas. Melhor reduzido pelo ex-consultor da McKinsey Allen Bonde, “Big data é sobre máquinas, enquanto small data é sobre pessoas” – especificamente, insights significativos organizados e empacotados para a derivação de causas, padrões e as razões “por que” sobre as pessoas.

Análise baseada em SaaS

Em conjunto com o aumento da disponibilidade e utilidade dos dados, veio o surgimento de um setor de análise independente. Antes o refúgio exclusivo de estatísticos de nível de mestrado e doutorado, cientistas de dados e analistas, a análise evoluiu para um setor de plataformas de software como serviço (SaaS) de autoatendimento (SaaS) funcionalmente robustas, mas de baixo custo, que permitem até as mais novato de usuários para extrair valor de seus dados. As empresas menores que antes não tinham a experiência ou os orçamentos necessários para executar esse tipo de análise agora estão competindo em pé de igualdade com suas contrapartes com melhores recursos e estabelecendo motes defensáveis ​​em seus mercados.

Além dos benefícios de custo do modelo SaaS, pesquisa do Aberdeen Group, empresa de pesquisa de tecnologia e serviços, mostra que as organizações que adotam ferramentas SaaS têm o dobro de funcionários que usam dados instintivamente para tomar decisões e atingir suas metas de ROI 40% mais rápido do que aqueles que não o fazem. Para a maioria das empresas, relatórios de marketing por e-mail, Google Analytics e outras ferramentas de análise baseadas na web de terceiros já estão em uso ativo, além de relatórios gerados internamente de sistemas de contabilidade, marketing, ERP e CRM e usados ​​como o principal mecanismo para monetizar seus pequenos dados.

Mais do que isso, e embora seja um mercado grande e em crescimento cuja medição precisa pode ser difícil, a IDC estima o mercado mundial de ferramentas de inteligência e análise de negócios em quase US$ 14 bilhões em 2017, crescendo a uma taxa de 11,7% ano a ano, com a Forrester Research , uma empresa global de pesquisa de mercado, prevendo um CAGR de 15% até 2021.

Dados de participação de mercado

Sem surpresa, o mercado de ferramentas e soluções analíticas é dominado pela velha guarda das empresas de software – empresas como SAP, IBM, Oracle e Microsoft. Em 2015, a SAP liderou o mercado com 10% de participação de mercado e US$ 1,2 bilhão em receitas de produtos de análise e inteligência de negócios (BI); O SAS Institute ficou em segundo lugar, com 9% de participação; IBM, terceiro com 8%, e Oracle e Microsoft em quarto e quinto lugares, respectivamente, com 7% e 5%. Curiosamente, a participação de mercado dos cinco maiores fornecedores vem diminuindo devido ao crescimento acima do mercado de startups apoiadas por capital de risco, como Sentiment Strategies, Tableau e Teradata, sugerindo que grande parte do crescimento futuro do setor será gerado por empresas menores, empresas mais rápidas e ágeis.

Gráfico 2: Principais provedores de análise de dados dos EUA, participação de mercado por empresa

Um guia de implementação de análise de dados para pequenas empresas

No nível mais alto possível, uma cultura centrada em dados proporciona ao gerenciamento maior confiança de que é capaz de tomar as melhores decisões possíveis, com frequência e consistência, enquanto trabalha com a mesma versão da verdade – uma versão transparente e quantificável. Afinal, a maioria de nós assistiu a sessões em que executivos em conflito apresentaram/defenderam diferentes argumentos, apoiando-se em diferentes fontes anedóticas, padrões de fatos e interpretações, rapidamente questionando a integridade das entradas e, portanto, as saídas. Assim, a primeira decisão que deve ser tomada por uma determinada pequena empresa que busca trilhar o caminho da análise de dados é se essa empresa realmente busca se tornar uma organização orientada por dados.

Uma vez que essa decisão de cima para baixo tenha sido tomada, uma estrutura deve ser estabelecida para otimizar o potencial e a utilidade da nova prioridade estratégica. Para começar, várias perguntas devem ser feitas. A primeira, quais são os objetivos de curto e longo prazo de determinada empresa, projeto, iniciativa ou departamento? Segundo, quem deve ser responsável pelo esforço e seus resultados? Terceiro, quais problemas específicos a empresa, o projeto, a iniciativa ou o departamento procuram resolver com dados? E quarto, quais ferramentas devem ser usadas para impulsionar a iniciativa?

Uma vez que essas perguntas tenham sido respondidas, o próximo passo é formular um plano de execução tangível que, com um pouco de planejamento, estrutura organizacional, direção de cima para baixo e entusiasmo de baixo para cima, posicionará a organização na mão para gerar resultados reais e mensuráveis. resultados de forma mais consistente do que tem feito no passado. O diagrama abaixo foi projetado para fornecer uma estrutura para considerar os vários elementos de uma abordagem simples de análise de dados.

Gráfico 3: Elementos de resumo, dimensões e considerações para uma abordagem de análise de dados

À Questão dos Objetivos

Esta é a primeira questão importante para acertar. Em alto nível, o objetivo principal de qualquer empresa que busca alavancar seus dados é desenvolver um processo sistemático para tomar decisões de negócios sólidas – um processo consistente e repetível, que produza resultados mensuravelmente melhores. Nesta conjuntura, é importante observar que se tornar uma organização sólida orientada a dados é uma jornada e não um destino e, como tal, o “buy-in” de cima e o consenso de baixo são importantes etapas fundamentais que serão críticas. para adoção em massa e ativos analíticos totalmente utilizados. Tendo alcançado o buy-in, um próximo passo testado e comprovado é organizar estrategicamente alguns “ganhos rápidos” para angariar o entusiasmo e o envolvimento necessários para ver esse processo se concretizar. Construção de consenso, buy-in e ganhos rápidos alcançados, tanto a pesquisa quanto minhas experiências ditam uma abordagem de implementação que assume a seguinte estrutura, sequência e considerações:

Comece com análises descritivas – um painel visual simples que destaca o desempenho corporativo usando dados transacionais existentes para tirar conclusões que antes se mostraram inconclusivas sem dados quantificáveis. Em seguida, desenvolva recursos de detalhamento em seu painel, compartilhando insights, resultados de desempenho e instruções de autoajuda de forma estratégica e com os colegas/influenciadores organizacionais certos. Isso dará início ao processo de disseminação para seus subordinados e à cultura de confiança de dados que você procura cultivar.

Estágio dois: evolua para recursos de análise preditiva mais sofisticados, usando recursos técnicos internos ou com a ajuda de fornecedores terceirizados. Esses recursos preditivos combinam fontes de dados internas e externas para responder melhor a perguntas de negócios específicas, como “Qual é a probabilidade de um cliente desertar?” ou “Clientes que compram x, normalmente também compram y” e fornecem informações reais. tempo de visão sobre o desempenho departamental ou de uma determinada iniciativa. “Fontes de dados externas” neste caso incluem dados de mídia social, dados de força de vendas ou dados de experiência do usuário, todos os quais fornecem fontes ricas e estatisticamente significativas de insights, onde os dados internos ainda são muito limitados para serem aproveitados por conta própria.

O terceiro estágio é passar para análises prescritivas avançadas que ajudam a determinar a ação apropriada para orientar/prevenir o comportamento do consumidor, corporativo, concorrente, funcionário ou fornecedor em relação ao pano de fundo dos dados históricos. Deve-se notar, porém, que este estágio geralmente começa a marcar a transição de small data para big; e, no entanto, é uma etapa necessária que deve ser incorporada ao processo de decisão de toda a empresa para garantir os mais altos níveis de integridade de entrada-saída e consistência na tomada de decisões.

Gráfico 4: Estrutura para identificar as metas e objetivos por uma organização com capacidade de análise

Visão detalhada dos diferentes estágios do Analytics

Análise Descritiva – Painéis

É um truísmo que o que é medido é gerenciado e, portanto, desenvolvendo uma única verdade determinística de dados, os líderes de uma organização são mais capazes de tomar decisões mais sólidas e unificadas. Os painéis são o ponto de partida dessas jornadas de análise e a ilustração visual da verdade determinística de dados de uma empresa. É claro que o que é relevante para um grupo pode não ter sentido para outro, então a devida consideração deve ser dada ao propósito ou tema de um determinado painel, quais informações devem ser incluídas, quem é o público receptor relevante para seu conteúdo e qual o questão/problema é que o referido grupo está procurando responder/resolver.

Gráfico 5: Exemplo de painel de análise de vendas

Gráfico 6: Painel de análise de amostra de comércio eletrônico

Dashboards bem projetados impulsionam a tomada de decisões em vez de simplesmente apresentar informações históricas, e os melhores efetivamente concentram a atenção em tendências e padrões recorrentes (positivos e negativos) enquanto ilustram com precisão os pontos vitais de um negócio. Painéis mais sofisticados fornecem recursos de busca detalhada que permitem que os líderes cheguem às causas-raiz de um problema diagnosticado com recursos de anotação e compartilhamento que permitem uma visualização mais dinâmica e em tempo real.

Análise preditiva – combinação, exploração e consulta de dados

Depois que o processo do painel estiver concluído, a organização orientada a dados aspirante pode começar a ficar mais ambiciosa. Para isso, um próximo passo típico é “usar dados volumosos e variados para realizar análises mais avançadas e fornecer mais dimensão ao domínio de decisão”. Ao combinar dados específicos da empresa ainda mais enriquecidos com os de terceiros, desde fornecedores verticais específicos, como Experian, Acxiom e D&B, até mídias sociais ou provedores de dados de vendas, como Facebook, Twitter e Salesforce, a empresa pode explorar maiores, conjuntos mais amplos, mais variados e estatisticamente significativos para novas e melhores percepções sobre o desempenho da empresa e o comportamento do cliente.

Análise Prescritiva – Implantação de Análise em Processos de Negócios

Empresas de nível empresarial com necessidades diferentes em termos de dados, clientes, regulamentações e problemas/questões de negócios específicos e com diferentes orçamentos e habilidades internas provavelmente terão fornecedores de tecnologia que atendem às suas necessidades mais exclusivas. Eles operam em uma escala em que a capacidade de operacionalizar a análise em seus processos de negócios e fluxos de trabalho se torna mais importante e econômica. Muitas vezes, essas empresas estarão em setores regulamentados, onde precisam demonstrar que têm tratamentos justos e repetíveis em vigor.

Os credores não mostram viés em suas políticas de empréstimos, seja por sexo, renda ou raça.

À Questão da Responsabilidade

Uma coisa é determinar uma ação específica e outra é implementá-la. É preciso haver uma conexão entre diagnóstico, prescrição e decisão e um indivíduo/grupo responsável pelo resultado desejado. É aqui que o papel do patrocinador executivo se torna importante.

Tanto em pequenas quanto em grandes empresas, o referido patrocinador executivo – o defensor nomeado do enriquecimento de dados e de fato chief data officer – é um indivíduo, geralmente o CEO, CFO ou CMO no início, já mergulhado em dados e análises, sintonizado com o tipos de problemas melhor resolvidos por dados, ou pelo menos um crente no potencial transformador da análise de dados.

Além desse protagonista, o processo também normalmente requer um campeão secundário, mais prático, especialmente quando a empresa começa a fazer a transição da análise descritiva para a preditiva. Tradicionalmente, essa pessoa era um cientista de dados interno tecnicamente treinado, mas mais recentemente assumiu a forma de um entusiasta de tecnologia, muitas vezes chamado de cientista de dados cidadão. Esse indivíduo normalmente se auto-seleciona — um autoproclamado jóquei em planilhas com o equilíbrio certo de curiosidade intelectual e destreza, mas disposto a viver nas ervas daninhas da implementação. Em muitos casos, esse indivíduo está à frente da administração no reconhecimento do impacto potencial que um processo formal de análise de dados pode criar em sua empresa, mas simplesmente não tinha o status ou a credibilidade necessários para vender sua visão.

Para a questão do problema de negócios

Toda empresa bem-sucedida e falida tem seu conjunto exclusivo de desafios apenas solucionáveis ​​pela combinação apropriada de recursos, processos e capacidades específicas a ela. Dito isso, os tipos de desafios de negócios mais adequados para serem abordados pelos dados podem, na maioria das vezes, ser reduzidos, categorizados e abordados usando a estrutura apresentada no Gráfico 7.

Além disso, algumas diretrizes/parâmetros anedóticos foram elaborados ao longo dos anos, o que otimiza ainda mais as chances de não apenas identificar os tipos certos de problemas a serem resolvidos com dados, mas também suas chances de serem resolvidos com sucesso. Essas diretrizes/parâmetros são as seguintes: Primeiro, escolha perguntas simples e claras cujas implicações sejam muito importantes; segundo, ao buscar respostas a partir de dados, busque a praticidade da solução e não a perfeição de uma resposta acadêmica; terceiro, lembre-se da natureza e da base de conhecimento do seu público-alvo ao fornecer o diagnóstico e a solução; e, finalmente, selecione apenas problemas mensuráveis ​​e quantificáveis ​​com dados e soluções já existentes que possam, em igual medida, ser rastreados.

Gráfico 7: Estrutura para Identificar o Problema de Negócios a Ser Solucionado

Para a questão das ferramentas e métodos certos

A última de nossas quatro perguntas de estrutura originais, no que diz respeito à construção de uma organização sustentável orientada a dados, é uma que diz respeito à seleção de ferramentas, métodos ou plataformas. Para isso, direi primeiro que as ferramentas de análise de dados evoluíram consideravelmente nos últimos anos, com vários prós e contras para o usuário empresarial. Os prós incluem uma queda substancial nos custos associados ao aluguel de tais ferramentas e um aumento na lista de recursos e na complexidade das opções disponíveis, pois elas passaram de ferramentas específicas de função para plataformas de funcionalidade sobreposta. Além disso, os fornecedores de SaaS oferecem testes gratuitos, embora com restrições de volume e tipo de dados; novos clientes têm a oportunidade de tomar uma decisão de compra informada depois de testar várias plataformas.

O maior contra dessas plataformas é que, em uma tentativa de se manterem competitivos uns com os outros, os fornecedores inovaram tão agressivamente em relação à complexidade que suas ofertas agora se aproximam da saturação de recursos com ofertas que estão além da utilidade média dos usuários corporativos. O resultado infeliz é o esmagamento do usuário iniciante, tornando mais difícil alcançar os “ganhos rápidos” discutidos anteriormente e, assim, reduzindo a probabilidade de que a cultura de dados se estabeleça em uma determinada empresa.

Felizmente, existem muitos recursos disponíveis para ajudar os usuários em potencial, avaliar e comparar soluções de inteligência de negócios concorrentes, embora algum conhecimento dos principais recursos comuns seja útil para avaliá-los em relação às necessidades e prioridades específicas de uma empresa. Alguns desses recursos incluem: número e escopo de conexões de dados, disponibilidade de painéis pré-montados, recursos de detalhamento, publicação e compartilhamento, integração com combinação de dados e capacidade de software de exploração, potencial de dimensionamento (em parâmetros de volume e variedade), número e precisão das abordagens de modelagem e as bases de referência do cliente por setor específico. Embora reconhecidamente simples em seu resumo, o Gráfico 7 acima apresenta alguns fornecedores-chave que atuam em várias categorias (descritivo, preditivo, prescritivo).

Pequenos dados, grandes oportunidades

Apesar de seu início de nicho, está claro que a análise de dados e o mercado de ferramentas de análise baseadas em SaaS evoluíram consideravelmente nos últimos anos, para benefício do cientista de dados cidadão e de sua empresa. Big data, small data, ferramentas de autoatendimento — cada uma delas é suficientemente popular agora para garantir sua consideração como uma competência central até mesmo das empresas menos técnicas. Dito de outra forma, com tantos dados úteis e acionáveis ​​sendo gerados e os custos das ferramentas de autoatendimento movendo-se inversamente aos recursos e capacidades oferecidos, poucas razões continuarão a existir para que até mesmo as pequenas empresas não comecem a aproveitar os dados de alguma forma.

Este artigo deve ter ilustrado que, com um pouco de planejamento, definição de objetivos e seleção de clientes, até mesmo sua startup pode começar a nivelar o campo de jogo competitivo com os titãs da indústria que você se propôs a romper, no processo desbloqueando um tremendo valor econômico para você e seus interessados. Você só precisa começar; então vá em frente — comece!