Aplicações de estatísticas para medir o crescimento da empresa

Sumário executivo

Em parte como uma continuação do meu artigo anterior sobre como identificar os impulsionadores do crescimento nos negócios, agora quero ir mais longe e analisar como você pode medir o impacto das iniciativas de crescimento. Fornecerei algumas ferramentas para avaliar o impacto de ações como atualizações de produtos, relações públicas e campanhas de marketing no crescimento de clientes, métricas de retenção e engajamento. Isso representa reflexões do meu trabalho anterior como estatístico, ajudando as empresas a avaliar o impacto em sua avaliação de eventos internos e externos por meio das reações de seus títulos negociados.

Acredito que as ferramentas de impacto estatístico, mais comuns nos fundos de hedge e no mundo de Wall Street, podem ser muito mais úteis para empresas de tecnologia para gerenciar o crescimento do que são aplicadas atualmente. Devido à tecnologia disponibilizar uma gama de informações de alta frequência sobre o comportamento do usuário ou cliente, um analista de dados ou estatística qualificado pode ser um ativo real nas equipes comerciais.

Há muitas maneiras de medir o impacto do crescimento

Como exemplo de medição do impacto estatístico na avaliação, vamos supor que uma empresa de capital aberto anuncie um novo produto e deseje saber até que ponto isso impactou sua avaliação. Estimar o impacto real requer a contabilização de:

1. Como o próprio mercado se comportou naquele dia, no contexto da correlação do título com ele.
2. O efeito de qualquer outra informação relevante para a empresa divulgada ao mesmo tempo.
3. O simples fato de que os preços dos títulos e o comportamento do usuário mudam diariamente da variação geral, mesmo na ausência de novas informações.
4. Impacto a mais longo prazo, em termos de uma tendência estatisticamente significativa de aumento de preços.

Para uma empresa privada, a mesma análise pode ser feita sobre a mudança de usuários ativos, ou clientes, tanto no curto quanto no longo prazo, que servem de corolário à atividade do preço das ações. Isso também se aplica às métricas de retenção e profundidade de engajamento.

Estabelecer essa forma arredondada de análise permite que as empresas direcionem seus recursos limitados com base em sinais de informação muito mais fortes, em vez de serem desviados pelo que pode parecer ser uma reação do mercado ou do usuário que, na verdade, representa nada mais do que flutuações aleatórias. O trabalho inicial para configurar o modelo estatístico que separa o sinal do ruído pode render enormes dividendos por meio dos insights que ele traz para os esforços de crescimento de uma empresa. É também um processo iterativo que pode facilmente (e muitas vezes automaticamente) ser atualizado e refinado à medida que novos dados são recebidos.

Selecionando a métrica de destino para testar

Qualquer esforço de medição de uma empresa deve visar pelo menos uma das seguintes dimensões de crescimento:

1. Crescimento da receita, definido como a mudança nas vendas totais ou usuários/clientes ativos ao longo do tempo.
2. Retenção de usuários e clientes, definida como o tempo médio de vida de um determinado usuário ou cliente.
3. A profundidade do envolvimento de usuários e clientes, definida como a frequência da ação principal realizada ou o volume de transações por meio da plataforma.

Todas as três dimensões são quantificáveis, e a empresa pode conceituar seu valor como a área do triângulo formado por esses três pontos. Se um entrar em colapso, o potencial de valor dos outros dois será severamente restringido. Embora eu certamente concorde com muitos fundadores e investidores de que “alguns usuários que amam você são melhores do que muitos que gostam de você”, não acredito que isso contradiga a importância do crescimento de primeira linha, além de um forte engajamento e retenção. A trajetória importa muito mais do que o nível, e começar com um grupo menor de usuários verdadeiramente dedicados é o que melhor define as condições iniciais para o crescimento a longo prazo em primeiro lugar.

A principal tarefa da empresa é estabelecer a estrutura analítica que permita medir os verdadeiros efeitos de suas ações em uma ou mais dessas três métricas principais. A empresa pode testar modelos diferentes para cada um ou usar ferramentas como equações simultâneas para vinculá-los mais diretamente. Os esforços de marketing e relações públicas, na minha experiência, tendem a sofrer particularmente com a falta de uma análise rigorosa sobre se a empresa está recebendo um retorno sobre seu investimento. Certas métricas, como total de visualizações, cliques e compartilhamentos, são quase sempre registradas, mas todos esses são meios para um fim e a próxima pergunta sobre os efeitos na conversão e no engajamento do cliente raramente recebe uma análise séria.

Escolhendo o benchmark e o exemplo de um evento único

Começamos com a versão simplificada de um evento único. Vamos supor que uma empresa lança uma nova atualização de produto ou publica uma grande história de relações públicas no Dia 0 e deseja saber se isso representa um movimento na direção certa em termos de efeito sobre o crescimento. Determinar se foi recebido um sinal real de que a empresa deve continuar com esforços semelhantes requer saber quanto ela aumentou versus quanto teria se não fosse o evento em questão.

O crescimento do benchmark pode ser estimado por meio de um modelo de regressão que prevê o crescimento, retenção ou engajamento da empresa com base em variáveis ​​externas e internas. Em certos casos, a capacidade de isolar os usuários afetados por uma atualização de produto permite testes A/B diretos com um grupo de controle. Este não é o caso, no entanto, para produtos de maior escala, relações públicas e esforços de negócios que afetam todos os usuários atuais e potenciais de maneira uniforme. Embora existam alguns recursos excelentes disponíveis para esses testes, muitas empresas em estágio inicial podem considerá-los caros.

As variáveis ​​que podem ser consideradas para este modelo incluem:

Todas as variáveis ​​devem ser especificadas como uma taxa de mudança em vez de um nível absoluto, usando logaritmos em vez de porcentagens.

O período de tempo para cada variável também precisa ser cuidadosamente considerado. Algumas variáveis ​​estão liderando (o mercado de ações, por exemplo, é fortemente baseado em expectativas), enquanto outras, como os índices de satisfação do usuário, são baseadas em experiências passadas, mas certamente podem ter relevância para o crescimento esperado.

Para a regressão em si, recomendo começar com os Mínimos Quadrados Ordinários (OLS) e depois passar apenas para outras formas funcionais por motivos específicos. OLS é versátil e também permite uma interpretação mais direta dos resultados do que outras formas mais complexas. As modificações no contexto do OLS incluiriam uma regressão logarítmica para variáveis ​​não lineares, variáveis ​​de interação (por exemplo, talvez satisfação atual do cliente e atividade de mídia social) e variáveis ​​quadradas que você acredita que tenham efeitos desproporcionais em valores maiores. Como espera-se que o crescimento seja exponencial, as regressões logarítmicas certamente podem ser um forte ajuste.

Em relação ao horizonte de tempo do impacto da ação, certifique-se de considerar a frequência de ações ou compras de seus usuários para ajudá-lo a determinar o intervalo adequado no qual procurar o impacto. Ao usar prazos maiores que um dia, lembre-se de que os usuários ativos semanais não são a soma dos usuários ativos diários naquela semana. Se eu usar seu produto ativamente todos os dias daquela semana, eu seria contado todos os dias para uma análise diária. Se você mudar para uma análise semanal, eu deveria aparecer apenas uma vez e, portanto, somar os dias individuais contaria demais.

Esse modelo permite estimar o crescimento/retenção/engajamento esperado para qualquer momento ou período de tempo contínuo com base no desempenho dessas variáveis ​​explicativas. A diferença entre este crescimento esperado e o crescimento real observado após o evento é então a parcela anormal que pode indicar impacto. A divisão desse crescimento anormal pelo desvio padrão do crescimento esperado indica a probabilidade de o componente anormal ocorrer por acaso. Normalmente, um resultado de 1,96 (sendo aproximadamente dois desvios padrão do valor previsto) é usado como ponto de corte para considerar que não ocorreu por acaso.

No contexto de coortes, retenção e engajamento podem ser considerados em termos de mudança em coortes sucessivas (em outras palavras, mantendo os valores fixos para cada coorte), ou a mudança ao longo do tempo de retenção e engajamento total, sem desmembrar por coorte.

Impacto de crescimento cumulativo de uma série de eventos

As estratégias de crescimento geralmente fazem questão de implantar uma série de eventos em vez de esforços únicos, tanto pelo impacto mais imediato de ter vários esforços quanto pelo impacto subjacente de mostrar aos clientes o próprio padrão. A análise de impacto pode, portanto, olhar também para o impacto cumulativo. Uma série de eventos que são individualmente insignificantes pode resultar em um impacto cumulativo significativo e, inversamente, uma série de eventos significativos pode resultar em insignificância.

A primeira situação pode ser pensada como “lento e constante vence a corrida”. Digamos que suas vendas aumentem uma fração de um por cento por semana mais rapidamente do que seu setor relevante. Em um curto período de tempo, isso não significaria nada, pois o crescimento de qualquer empresa será ligeiramente diferente do benchmark por acaso. No entanto, se o seu ligeiro excesso de desempenho continuar por tempo suficiente, então, eventualmente, você poderá afirmar com confiança que a taxa de crescimento da empresa realmente excede a do mercado.

A segunda situação é essencialmente qualquer tipo de reversão. Os meios cada vez mais de alta frequência pelos quais as pessoas podem reagir aos desenvolvimentos antes de realmente processar as informações, bem como a mentalidade de rebanho de curto prazo, traz o desafio de garantir que você considere a verdadeira magnitude e duração da reação através do ruído mais imediato. Sob certas circunstâncias, os usuários e os mercados tendem a reagir sistematicamente de forma exagerada no curto prazo (novas tecnologias, mercados de câmbio e muitas vezes más notícias que não representam uma ameaça séria para uma empresa), mas depois se corrigem.

As duas situações podem ser ilustradas a seguir. O intervalo de confiança indica os limites dentro dos quais podemos esperar que 95% das observações caiam, que normalmente é usado como o limite para considerar algo estatisticamente significativo.

A ausência de uma reversão significativa pode ser tomada como evidência de impacto duradouro. É preciso ser cauteloso com essa lógica, pois ela contraria a regra normal do ceticismo empírico de que a ausência de evidência não é evidência de ausência, mas é o melhor que podemos fazer.

Tenha cuidado ao comparar alterações percentuais/logarítmicas em períodos de tempo individuais. Uma diminuição de 99% seguida de um aumento de 99% não significa exatamente uma mudança cumulativa insignificante. Certifique-se de considerar a mudança cumulativa no final.

Se você estiver medindo o impacto cumulativo de uma série de eventos, como uma campanha de relações públicas específica em um período limitado de tempo (ou seja, uma temporada de férias), convém acompanhar o crescimento em todos os dias ou semanas do calendário incluídos no período , se cada um teve ou não uma ação específica. Você ainda está essencialmente esperando que o soco 1-2-3 produza um nocaute dentro de um período específico, mesmo que haja pequenos atrasos entre os golpes.

Se os eventos em questão estiverem mais distantes, mas você ainda desejar avaliar o impacto cumulativo, considere encaixá-los em uma única série contínua de dias e, em seguida, executar a mesma análise. Com isso, você está basicamente dizendo “Dia 1 é 5 de janeiro, Dia 2 é 15 de março, Dia 3 é 10 de abril…”) e testando sua mudança cumulativa versus aquela prevista pelo benchmark como se fossem de fato datas completamente sequenciais. Testar a significância é então a mesma fórmula que com eventos singulares, exceto que isso eleva o desvio padrão à raiz quadrada do número de dias/semanas que formam o período cumulativo.

Lidando com informações contaminadas ao medir o crescimento da empresa

O mundo raramente nos oferece a cortesia de condições laboratoriais perfeitas para testar nossas ideias, então, uma vez estabelecido o modelo central, ele provavelmente precisará controlar outras informações que afetem a taxa de crescimento esperada ao mesmo tempo que as ações que realizamos. estou procurando medir.

Vamos supor que, ao mesmo tempo em que um evento de relações públicas ou atualização de produto, um alto executivo infelizmente decida sair para um concorrente em meio a muita fanfarra da imprensa e você fique preocupado que alguns usuários possam tomar isso como um sinal dos méritos relativos do dois produtos. Infelizmente, uma solução muito rápida é simplesmente marcar o ponto de dados como um evento não relacionado confuso, com uma variável indicadora.

No entanto, se você puder obter dados sobre instâncias anteriores do evento “confundido”, poderá realizar uma análise transversal que permite prever quanto impacto esse evento específico tende a ter em circunstâncias semelhantes e remover aquele impacto esperado dos resultados finais. No exemplo acima, os dados sobre a atividade do usuário em torno das saídas de membros da equipe de alto perfil em outras empresas permitiriam estimar e separar o efeito desse fator específico para isolar o efeito do evento de relações públicas ou atualização do produto que você esperava Avalie.

Muitas empresas também podem enfrentar a sazonalidade com base na época do ano ou em certos momentos importantes, como feriados. Atribua variáveis ​​indicadoras à época do ano em questão para controlar isso.

As Não Linearidades de Certos Impactos

Ao considerar os resultados de sua análise e estratégias para esforços de crescimento, vale a pena ter em mente certos efeitos não lineares em como as pessoas foram documentadas para reagir a desenvolvimentos positivos.

A sensibilidade para cima versus para baixo pode ser muito diferente. Se os dados e o tempo permitirem, considere estimar os efeitos esperados de eventos positivos e negativos, se ambos forem relevantes para você. Infelizmente, os movimentos descendentes em muitos casos, desde o comportamento do usuário até os mercados financeiros, podem ser muito mais abruptos e severos do que os movimentos ascendentes.

O efeito combinado de realizar várias ações ao mesmo tempo pode não ser igual ao de executá-las em sequência, porque o próprio fato do padrão contínuo pode ter um efeito positivo ou negativo. O padrão de uma empresa que lança uma atualização de produto todo mês pode incutir confiança nos usuários enquanto anuncia eventos negativos, como demissões ou baixas contábeis mais de uma vez, pode ter um efeito muito desproporcional, causando a preocupação de que a empresa não entenda completamente sua própria situação. As empresas de capital aberto muitas vezes “tomam um banho” e divulgam todas as más notícias de uma só vez, pois pode haver um acerto inicial “fixo” do fato das más notícias em si, com um efeito subsequente marginal. O “Efeito Torpedo”, por exemplo, descreve o fenômeno empírico de que a mera presença de más notícias pode ser responsável por uma parcela significativa de uma queda de preço. As quedas negativas podem, portanto, ser decompostas em um efeito fixo inicial que dá lugar a um efeito marginal decrescente do conteúdo real da notícia ou desenvolvimento. As campanhas de relações públicas funcionam melhor como uma sequência do que um megaevento singular, pois o objetivo é posicionar a empresa ao longo do tempo.

É claro que a variância só pode ser medida historicamente, mas certos eventos podem alterar a variância verdadeira subjacente e a probabilidade de que o crescimento anormal tenha ocorrido por acaso. Como a nova variância é ela própria o resultado do evento em questão, a variância anterior deve ser usada para evitar o raciocínio circular de descartar a significância do evento com base na variância maior que o acompanha. Como sempre, no entanto, há debate e cada situação pode ser diferente.

Como mencionado anteriormente, o crescimento ou a desaceleração do crescimento podem gerar efeitos semelhantes por um tempo, devido à psicologia humana e às estruturas de mercado muito reais. Embora existam vários testes de autocorrelação sofisticados disponíveis para medir os efeitos do momento, acho que a abordagem mais “manual” de regredir a série de crescimento em uma versão defasada de si mesma é mais transparente e fácil de experimentar.

Considerações finais sobre a abordagem do aprendizado de máquina nos negócios

Uma vez desenvolvido o modelo que permite tais testes, não há razão para que as plataformas da empresa para rastrear o comportamento do usuário, vendas, etc. não possam ser diretamente vinculadas ao seu código para atualizar continuamente os coeficientes à medida que novos dados são recebidos. Minha preferência pessoal sempre foi ter um período de estimativa de um ano sempre que possível, pois equilibra o tamanho do conjunto de dados com o valor mais alto das informações mais recentes e também inclui naturalmente todas as épocas do ano em caso de sazonalidade.

Supondo que não haja quebras estruturais na natureza do negócio e do produto, não há razão para não estender o período de estimativa além de um ano, mas as empresas jovens em rápido crescimento tendem a evoluir rapidamente. As empresas orientadas por software podem se conectar diretamente ao GitHub para criar o processo pelo qual as atualizações de software são testadas automaticamente quanto ao impacto. Ao criar esse link direto e permitir que as funções evoluam automaticamente, você deu o primeiro passo para implantar o aprendizado de máquina em sua empresa.

Muitas vezes é apontado como a informação é a mercadoria mais valiosa do mundo, mas é menos frequentemente mencionado que os dados não são informações. Pelo contrário, as empresas estão sobrecarregadas com tantos dados que podem parecer contar narrativas concorrentes, muitas das quais podem ser apenas padrões espúrios baseados na aleatoriedade. A melhor das estatísticas é um processo de redução — de aprimoramento rápido das variáveis ​​e relacionamentos-chave e sua implantação para testes práticos. O espírito dessa forma de análise, acima de tudo, é imbuir um ceticismo saudável no processo de tomada de decisão, forçando os dados a se provarem como informações reais antes que você baseie uma decisão neles.