Aplicaciones de la Estadística para Medir el Crecimiento de la Empresa

Resumen ejecutivo

En parte como continuación de mi artículo anterior sobre cómo identificar los impulsores del crecimiento en las empresas, ahora quiero ir más allá y ver cómo se puede medir el impacto de las iniciativas de crecimiento. Proporcionaré algunas herramientas para evaluar el impacto de acciones como actualizaciones de productos, relaciones públicas y campañas de marketing en el crecimiento de clientes, métricas de retención y participación. Esto representa reflexiones de mi trabajo anterior como estadístico, ayudando a las empresas a evaluar el impacto en su valoración de eventos internos y externos a través de las reacciones de sus valores negociados.

Creo que las herramientas de impacto estadístico, más comunes en el mundo de los fondos de cobertura y Wall Street, pueden ser mucho más útiles para las empresas de tecnología para gestionar el crecimiento que la forma en que se aplican actualmente. Debido a que la tecnología pone a nuestra disposición una variedad de información de alta frecuencia sobre el comportamiento del usuario o del cliente, un analista estadístico o de datos capacitado puede ser un activo real dentro de los equipos comerciales.

Hay muchas maneras de medir el impacto del crecimiento

Como ejemplo de medición del impacto estadístico en la valoración, supongamos que una empresa que cotiza en bolsa anuncia un nuevo producto y desea saber en qué medida ha afectado a su valoración. Estimar el impacto real requiere tener en cuenta:

1. Cómo se comportó el mercado en sí ese día, en el contexto de la correlación del valor con él.
2. El efecto de cualquier otra información relevante para la empresa publicada al mismo tiempo.
3. El simple hecho de que los precios de los valores y el comportamiento de los usuarios se muevan diariamente a partir de la variación general, incluso en ausencia de nueva información.
4. Impacto a más largo plazo, en términos de una tendencia estadísticamente significativa en el aumento de precios.

Para una empresa privada, se puede hacer el mismo análisis sobre el cambio en los usuarios activos, o clientes, tanto en el corto como en el largo plazo, que sirven como corolario a la actividad del precio de las acciones. Esto también se aplica a las métricas de retención y profundidad de compromiso.

Establecer esta forma redondeada de análisis permite a las empresas dirigir sus recursos limitados en función de señales de información mucho más fuertes, en lugar de dejarse llevar por lo que podría parecer una reacción del mercado o del usuario que, de hecho, no representa más que una fluctuación aleatoria. El trabajo inicial para configurar el modelo estadístico que separa la señal del ruido puede generar enormes dividendos a través de los conocimientos que aporta a los esfuerzos de crecimiento de una empresa. También es un proceso iterativo que puede actualizarse y refinarse fácilmente (ya menudo automáticamente) a medida que se reciben nuevos datos.

Selección de la métrica de destino para probar

Cualquier esfuerzo de medición por parte de una empresa debe apuntar al menos a una de las siguientes dimensiones de crecimiento:

1. Crecimiento de primera línea , definido como el cambio en las ventas totales o usuarios/clientes activos a lo largo del tiempo.
2. Retención de usuarios y clientes, definida como el tiempo de vida promedio de cualquier usuario o cliente determinado.
3. La profundidad del compromiso de los usuarios y clientes, definida como la frecuencia de la acción central realizada o el volumen de transacciones a través de la plataforma.

Las tres dimensiones son cuantificables y la empresa puede conceptualizar su valor como el área del triángulo formado por estos tres puntos. Si uno colapsa, entonces el valor potencial de los otros dos está severamente restringido. Si bien ciertamente estoy de acuerdo con muchos fundadores e inversores en que "unos pocos usuarios que te aman son mejores que muchos a los que les gustas", no creo que esto contradiga la importancia del crecimiento de primera línea además de un fuerte compromiso y retención. La trayectoria importa mucho más que el nivel, y comenzar con un grupo más pequeño de usuarios verdaderamente dedicados establece mejor las condiciones iniciales para el crecimiento a largo plazo en primer lugar.

La tarea clave para la empresa es establecer el marco analítico que permita medir los efectos reales de sus acciones en una o más de esas tres métricas clave. La empresa puede probar diferentes modelos para cada uno o usar herramientas como ecuaciones simultáneas para relacionarlos más directamente. Los esfuerzos de marketing y relaciones públicas, según mi experiencia, tienden a sufrir particularmente por la falta de un análisis riguroso sobre si la empresa está recibiendo un retorno de su inversión. Ciertas métricas, como el total de vistas, clics y acciones, casi siempre se registran, pero todos estos son medios para un fin y la siguiente pregunta de los efectos en la conversión y el compromiso del cliente rara vez se analizan seriamente.

Elegir el punto de referencia y el ejemplo de un evento único

Comenzamos con la versión simplificada de un evento único. Supongamos que una empresa lanza una nueva actualización de producto o publica una gran historia de relaciones públicas el día 0 y desea saber si representa un movimiento en la dirección correcta en términos de efecto sobre el crecimiento. Determinar si se ha recibido una señal real de que la empresa debe continuar con esfuerzos similares requiere saber cuánto aumentó, versus cuánto tendría, de no haber ocurrido el evento en cuestión.

El crecimiento de referencia se puede estimar a través de un modelo de regresión que predice el crecimiento, la retención o el compromiso de la empresa en función de variables externas e internas. En ciertos casos, la capacidad de aislar a aquellos usuarios que se ven afectados por una actualización del producto permite realizar pruebas A/B directas con un grupo de control. Este no es el caso, sin embargo, para los esfuerzos de productos, relaciones públicas y negocios a gran escala que afectan a todos los usuarios actuales y potenciales de manera algo uniforme. Si bien hay algunos recursos excelentes disponibles para tales pruebas, muchas empresas en etapa inicial pueden encontrarlos costosos.

Las variables que se pueden considerar para este modelo incluyen:

Todas las variables deben especificarse como una tasa de cambio en lugar de un nivel absoluto, utilizando logaritmos en lugar de porcentajes.

El marco de tiempo para cada variable también debe ser considerado cuidadosamente. Algunas variables están liderando (el mercado de valores, por ejemplo, se basa en gran medida en las expectativas), mientras que otras, como las calificaciones de satisfacción del usuario, se basan en la experiencia pasada, pero ciertamente pueden tener relevancia para el crecimiento esperado.

Para la regresión en sí, recomiendo comenzar con Mínimos cuadrados ordinarios (OLS) y luego pasar a otras formas funcionales solo por razones específicas. OLS es versátil y además permite una interpretación más directa de los resultados que otras formas más complejas. Las modificaciones en el contexto de OLS incluirían una regresión logarítmica para variables no lineales, variables de interacción (por ejemplo, quizás la satisfacción actual del cliente y la actividad en las redes sociales) y el cuadrado de variables que cree que tienen efectos desproporcionados en valores más grandes. Dado que se espera que el crecimiento sea exponencial, las regresiones logarítmicas sin duda podrían resultar una buena opción.

Con respecto al horizonte de tiempo del impacto de la acción, asegúrese de considerar la frecuencia de las acciones o compras de sus usuarios para ayudarlo a determinar el intervalo adecuado durante el cual buscar el impacto. Cuando utilice períodos de tiempo superiores a un día, recuerde que los usuarios activos semanales no son la suma de los usuarios activos diarios de esa semana. Si utilizo activamente su producto todos los días de esa semana, se me contará cada día para un análisis diario. Si luego cambia a un análisis semanal, solo debería aparecer una vez y, por lo tanto, la suma de los días individuales contaría en exceso.

Luego, este modelo le permite estimar el crecimiento/retención/compromiso esperado para cualquier momento dado o período de tiempo en curso en función del rendimiento de estas variables explicativas. La diferencia entre este crecimiento esperado y el crecimiento real observado después del evento es entonces la porción anormal que puede indicar un impacto. La división de este crecimiento anormal por la desviación estándar del crecimiento esperado indica la probabilidad de que el componente anormal ocurra por casualidad. Por lo general, se utiliza un resultado de 1,96 (aproximadamente dos desviaciones estándar del valor predicho) como límite para considerar que no ocurrió por casualidad.

En el contexto de las cohortes, la retención y el compromiso pueden considerarse en términos de cambio entre cohortes sucesivas (en otras palabras, manteniendo los valores fijos para cada cohorte), o el cambio en el tiempo de la retención y el compromiso totales, sin desglosarlo por grupo.

Impacto de crecimiento acumulativo de una serie de eventos

Las estrategias de crecimiento a menudo se enfocan en implementar una serie de eventos en lugar de esfuerzos únicos, tanto por el impacto más inmediato de tener múltiples esfuerzos como por el impacto subyacente de mostrar a los clientes el patrón en sí. Por lo tanto, el análisis de impacto también puede considerar el impacto acumulativo. Una serie de eventos que son individualmente insignificantes pueden resultar en un impacto acumulativo significativo y, a la inversa, una serie de eventos significativos pueden resultar insignificantes.

La primera situación se puede considerar como "lento y constante gana la carrera". Digamos que sus ventas aumentan una fracción de un porcentaje por semana más rápido que su sector relevante. En un corto período de tiempo, esto no significaría nada, ya que el crecimiento de cualquier empresa diferirá ligeramente del índice de referencia por casualidad. Sin embargo, si su ligero rendimiento superior continúa durante el tiempo suficiente, finalmente puede afirmar con confianza que la tasa de crecimiento de la empresa realmente supera la del mercado.

La segunda situación es esencialmente cualquier tipo de reversión. Los medios cada vez más frecuentes a través de los cuales las personas pueden reaccionar a los desarrollos antes de procesar realmente la información, así como la mentalidad de rebaño a corto plazo, plantean el desafío de garantizar que se considere la verdadera magnitud y duración de la reacción a través del ruido más inmediato. En determinadas circunstancias, los usuarios y los mercados pueden tender a sobrerreaccionar sistemáticamente a corto plazo (nuevas tecnologías, mercados de divisas y, a menudo, malas noticias que no representan una amenaza grave para una empresa), pero luego se corrigen por sí mismos.

Las dos situaciones se pueden ilustrar de la siguiente manera. El intervalo de confianza indica los límites dentro de los cuales podemos esperar que caiga el 95 % de las observaciones, que normalmente se usa como el umbral para considerar algo estadísticamente significativo.

La ausencia de una reversión significativa puede tomarse como evidencia de un impacto duradero. Se debe ser cauteloso con esta lógica, ya que va en contra de la regla normal del escepticismo empírico de que la ausencia de evidencia no es evidencia de ausencia, pero es lo mejor que podemos hacer.

Tenga cuidado al comparar cambios porcentuales/logarítmicos en períodos de tiempo individuales. Una disminución del 99 % seguida de un aumento del 99 % no equivale exactamente a un cambio acumulativo insignificante. Asegúrese de considerar el cambio acumulativo al final.

Si está midiendo el impacto acumulativo de una serie de eventos, como una campaña de relaciones públicas específica dentro de un período de tiempo limitado (es decir, una temporada festiva), es posible que desee realizar un seguimiento del crecimiento durante todos los días calendario o semanas incluidos en el período de tiempo. , si cada uno tuvo o no una acción específica tomada. Todavía espera esencialmente que el golpe 1-2-3 produzca un golpe de gracia dentro de un período específico, incluso si puede haber ligeras demoras entre los golpes.

Si los eventos en cuestión están más separados pero aún desea evaluar el impacto acumulativo, puede considerar unirlos en una sola serie continua de días y luego ejecutar el mismo análisis. En esto, esencialmente está diciendo "El día 1 es el 5 de enero, el día 2 es el 15 de marzo, el día 3 es el 10 de abril...") y prueba su cambio acumulativo frente al previsto por el punto de referencia como si fueran fechas completamente secuenciales. Probar la significancia es entonces la misma fórmula que con eventos singulares, excepto que eleva la desviación estándar a la raíz cuadrada del número de días/semanas que forman el período acumulativo.

Manejo de información contaminada al medir el crecimiento de la empresa

El mundo rara vez nos brinda la cortesía de condiciones de laboratorio perfectas para probar nuestras ideas, por lo que una vez que se establece el modelo central, lo más probable es que necesite controlar otra información que afecte la tasa de crecimiento esperada al mismo tiempo que las acciones que realizamos. re tratando de medir.

Supongamos que al mismo tiempo que un evento de relaciones públicas o una actualización del producto, un alto ejecutivo desafortunadamente decide irse a un competidor en medio de mucha fanfarria de la prensa y le preocupa que algunos usuarios puedan tomar esto como una señal de los méritos relativos del producto. dos productos Desafortunadamente, una solución muy rápida es simplemente marcar el punto de datos como un evento no relacionado confundido, con una variable indicadora.

Sin embargo, si puede obtener datos sobre instancias anteriores del evento "confuso", entonces puede realizar un análisis transversal que le permita predecir cuánto impacto tiende a tener ese evento en particular en circunstancias similares, y puede eliminar ese impacto esperado de los resultados finales. En el ejemplo anterior, los datos sobre la actividad de los usuarios relacionados con las salidas de miembros del equipo de alto perfil en otras empresas le permitirían estimar y separar el efecto de ese factor en particular para aislar el efecto del evento de relaciones públicas o la actualización del producto que esperaba. evaluar.

Muchas empresas también pueden enfrentar la estacionalidad según la época del año o ciertos momentos clave, como las vacaciones. Asigne variables indicadoras a la época del año en cuestión para controlar esto.

Las no linealidades de ciertos impactos

Al considerar los resultados de su análisis y estrategias para los esfuerzos de crecimiento, vale la pena tener en cuenta ciertos efectos no lineales en cómo se ha documentado que las personas reaccionan a los desarrollos positivos.

La sensibilidad hacia arriba o hacia abajo puede ser muy diferente. Si los datos y el tiempo lo permiten, considere estimar los efectos esperados de los eventos positivos y negativos, si ambos son relevantes para usted. Desafortunadamente, los movimientos a la baja en muchos casos que van desde el comportamiento del usuario hasta los mercados financieros pueden ser mucho más abruptos y severos que los movimientos al alza.

El efecto combinado de realizar múltiples acciones a la vez puede no ser igual al de realizarlas en secuencia porque el hecho mismo del patrón en curso puede tener un efecto positivo o negativo. El patrón de una empresa que lanza una actualización de producto cada mes puede infundir confianza en los usuarios, mientras que anunciar eventos negativos como despidos o amortizaciones más de una vez puede tener un efecto muy desproporcionado al causar la preocupación de que la empresa no comprende completamente su propio situación. Las empresas que cotizan en bolsa a menudo se "toman un baño" y publican todas las malas noticias a la vez, ya que puede haber un golpe inicial "fijo" por el hecho de las malas noticias en sí, con un efecto marginal posterior. El "Efecto Torpedo", por ejemplo, describe el fenómeno empírico de que la mera presencia de malas noticias puede explicar una parte significativa de una caída de precios. Por lo tanto, las gotas negativas se pueden descomponer en un efecto fijo inicial que da paso a un efecto marginal decreciente del contenido real de la noticia o el desarrollo. Las campañas de relaciones públicas funcionan mejor como una secuencia que como un megaevento único, ya que el objetivo es posicionar a la empresa a lo largo del tiempo.

Por supuesto, la varianza solo se puede medir históricamente, pero ciertos eventos pueden cambiar la verdadera varianza subyacente y la probabilidad de que el crecimiento anormal haya ocurrido por casualidad. Como la nueva variación es en sí misma el resultado del evento en cuestión, se debe usar la variación anterior para evitar el razonamiento circular de descartar la importancia del evento en función de la variación más grande que lo acompaña. Sin embargo, como siempre, hay debate y cada situación puede ser diferente.

Como se mencionó anteriormente, tanto el crecimiento como la desaceleración del crecimiento pueden generar efectos similares por un tiempo, debido tanto a la psicología humana como a estructuras de mercado muy reales. Si bien hay varias pruebas de autocorrelación sofisticadas disponibles para medir los efectos del impulso, encuentro que el enfoque más "manual" de retroceder la serie de crecimiento en una versión rezagada de sí mismo es más transparente y más fácil de experimentar.

Reflexiones finales sobre cómo abordar el aprendizaje automático en los negocios

Una vez que se ha desarrollado el modelo que permite realizar dichas pruebas, no hay razón para que las plataformas de la compañía para el seguimiento del comportamiento de los usuarios, las ventas, etc., no puedan vincularse directamente a su código para actualizar continuamente los coeficientes a medida que se reciben nuevos datos. Mi preferencia personal siempre ha sido tener un período de estimación móvil de un año cuando sea posible, ya que equilibra el tamaño del conjunto de datos con el valor más alto de la información más reciente y, naturalmente, también incluye todas las épocas del año en caso de estacionalidad.

Suponiendo que no haya rupturas estructurales en la naturaleza del negocio y el producto, no hay razón para no extender el período de estimación más allá de un año, pero las empresas jóvenes de rápido crecimiento tienden a evolucionar rápidamente. Las empresas impulsadas por software podrían vincularse directamente a su GitHub para crear el proceso mediante el cual las actualizaciones de software se prueban automáticamente para determinar el impacto. Al crear este enlace directo y permitir que las funciones evolucionen automáticamente, ha dado el primer paso para implementar el aprendizaje automático en su empresa.

A menudo se señala cómo la información es el bien más valioso del mundo, pero se menciona con menos frecuencia que los datos no son información. Por el contrario, las empresas están abrumadas con tantos datos que pueden parecer narraciones contrapuestas, muchas de las cuales pueden ser solo patrones espurios basados ​​en la aleatoriedad. En el mejor de los casos, la estadística es un proceso de reducción, de afinar rápidamente las variables y relaciones clave y desplegarlas para pruebas prácticas. El espíritu de esta forma de análisis, sobre todo, es imbuir un sano escepticismo en el proceso de toma de decisiones al obligar a los datos a demostrar que son información real antes de basar una decisión en ellos.