Applications des statistiques pour mesurer la croissance des entreprises

Résumé

En partie dans le prolongement de mon article précédent sur la manière d'identifier les moteurs de la croissance des entreprises, je souhaite maintenant aller plus loin dans le terrier du lapin et examiner comment vous pouvez ensuite mesurer l'impact des initiatives de croissance. Je fournirai des outils pour évaluer l'impact d'actions telles que les mises à jour de produits, les relations publiques et les campagnes marketing sur la croissance des clients, les mesures de rétention et l'engagement. Cela représente les réflexions de mon travail précédent en tant que statisticien, aidant les entreprises à évaluer l'impact sur leur valorisation d'événements internes et externes via les réactions de leurs titres négociés.

Je crois que les outils d'impact statistique, plus courants dans le monde des fonds spéculatifs et de Wall Street, peuvent être beaucoup plus utiles aux entreprises technologiques pour gérer la croissance que la façon dont ils sont actuellement appliqués. Grâce à la technologie mettant à notre disposition un éventail d'informations à haute fréquence sur le comportement des utilisateurs ou des clients, un analyste qualifié en statistiques ou en données peut être un véritable atout au sein des équipes commerciales.

Il existe de nombreuses façons de mesurer l'impact de la croissance

À titre d'exemple de mesure de l'impact statistique sur la valorisation, supposons qu'une société cotée en bourse annonce un nouveau produit et souhaite connaître l'ampleur de son impact sur sa valorisation. Pour estimer l'impact réel, il faut prendre en compte :

1. Comment le marché lui-même s'est comporté ce jour-là, dans le contexte de la corrélation du titre avec celui-ci.
2. L'effet de toute autre information pertinente pour l'entreprise publiée en même temps.
3. Le simple fait que les prix des titres et le comportement des utilisateurs évoluent quotidiennement par rapport à la variance générale, même en l'absence de nouvelles informations.
4. Impact à plus long terme, en termes de tendance statistiquement significative à la hausse des prix.

Pour une entreprise privée, la même analyse peut être effectuée sur l'évolution des utilisateurs actifs, ou clients, à la fois à court et à long terme, qui servent de corollaire à l'activité boursière. Cela s'applique également aux mesures de rétention et de profondeur d'engagement.

L'établissement de cette forme d'analyse arrondie permet aux entreprises de diriger leurs ressources limitées sur la base de signaux d'information beaucoup plus forts, plutôt que de se laisser égarer par ce qui pourrait sembler être une réaction du marché ou des utilisateurs qui ne représente en fait rien de plus qu'une fluctuation aléatoire. Le travail initial pour mettre en place le modèle statistique qui sépare le signal du bruit peut rapporter d'énormes dividendes grâce aux informations qu'il apporte aux efforts de croissance d'une entreprise. Il s'agit également d'un processus itératif qui peut facilement (et souvent automatiquement) être mis à jour et affiné à mesure que de nouvelles données sont reçues.

Sélection de la métrique cible à tester

Tout effort de mesure d'une entreprise doit cibler au moins l'une des dimensions de croissance suivantes :

1. Croissance du chiffre d'affaires , définie comme la variation des ventes totales ou des utilisateurs/clients actifs au fil du temps.
2. Rétention des utilisateurs et des clients, définie comme la durée de vie moyenne d'un utilisateur ou d'un client donné.
3. La profondeur de l'engagement des utilisateurs et des clients, définie comme la fréquence de l'action principale entreprise ou le volume des transactions via la plateforme.

Les trois dimensions sont quantifiables et l'entreprise peut conceptualiser sa valeur comme l'aire du triangle formé par ces trois points. Si l'un s'effondre, le potentiel de valeur des deux autres est fortement limité. Bien que je sois certainement d'accord avec de nombreux fondateurs et investisseurs sur le fait que "quelques utilisateurs qui vous aiment valent mieux que beaucoup qui vous aiment", je ne pense pas que cela contredise l'importance de la croissance du chiffre d'affaires en plus d'un engagement et d'une rétention solides. La trajectoire compte beaucoup plus que le niveau, et commencer par un petit groupe d'utilisateurs vraiment dédiés définit au mieux les conditions initiales d'une croissance à long terme.

La tâche clé pour l'entreprise est ensuite d'établir le cadre analytique qui permet de mesurer les véritables effets de ses actions sur un ou plusieurs de ces trois paramètres clés. L'entreprise peut soit tester différents modèles pour chacun, soit utiliser des outils tels que des équations simultanées pour les relier plus directement. D'après mon expérience, les efforts de marketing et de relations publiques ont tendance à souffrir particulièrement d'un manque d'analyse rigoureuse pour savoir si l'entreprise reçoit un retour sur son investissement. Certaines mesures, telles que le nombre total de vues, de clics et de partages, sont presque toujours enregistrées, mais ce ne sont que des moyens d'arriver à leurs fins et la question suivante des effets sur la conversion et l'engagement des clients fait rarement l'objet d'une analyse sérieuse.

Choix de la référence et exemple d'un événement ponctuel

Nous commençons par la version simplifiée d'un événement ponctuel. Supposons qu'une entreprise publie une nouvelle mise à jour de produit ou publie une grande histoire de relations publiques le jour 0 et souhaite savoir si cela représente un pas dans la bonne direction en termes d'effet sur la croissance. Pour déterminer si un signal réel a été reçu indiquant que l'entreprise devrait poursuivre des efforts similaires, il faut savoir de combien elle a augmenté, par rapport à combien elle aurait, en l'absence de l'événement en question.

La croissance de référence peut être estimée via un modèle de régression qui prédit la croissance, la rétention ou l'engagement de l'entreprise en fonction de variables externes et internes. Dans certains cas, la possibilité d'isoler les utilisateurs concernés par une mise à jour de produit permet un test A/B direct avec un groupe de contrôle. Ce n'est pas le cas, cependant, pour les produits, les relations publiques et les efforts commerciaux à plus grande échelle qui affectent tous les utilisateurs actuels et potentiels de manière assez uniforme. Bien qu'il existe d'excellentes ressources disponibles pour de tels tests, de nombreuses entreprises en démarrage peuvent les trouver coûteuses.

Les variables qui peuvent être prises en compte pour ce modèle incluent :

Toutes les variables doivent être spécifiées en taux de variation plutôt qu'en niveau absolu, en utilisant des logarithmes plutôt que des pourcentages.

Le délai pour chaque variable doit également être soigneusement examiné. Certaines variables sont en tête (le marché boursier, par exemple, est fortement basé sur les attentes), tandis que d'autres, telles que les notes de satisfaction des utilisateurs, sont basées sur l'expérience passée, mais peuvent certainement être pertinentes pour la croissance attendue.

Pour la régression elle-même, je recommande de commencer par les moindres carrés ordinaires (OLS), puis de ne passer à d'autres formes fonctionnelles que pour des raisons spécifiques. OLS est polyvalent et permet également une interprétation plus directe des résultats que d'autres formes plus complexes. Les modifications dans le contexte d'OLS incluraient une régression logarithmique pour les variables non linéaires, les variables d'interaction (par exemple, peut-être la satisfaction actuelle des clients et l'activité sur les réseaux sociaux) et les variables au carré qui, selon vous, ont des effets disproportionnés à des valeurs plus élevées. Étant donné que la croissance est, espérons-le, exponentielle, les régressions logarithmiques pourraient certainement s'avérer très utiles.

En ce qui concerne l'horizon temporel de l'impact de l'action, assurez-vous de tenir compte de la fréquence des actions ou des achats de vos utilisateurs pour vous aider à déterminer l'intervalle approprié sur lequel rechercher l'impact. Lorsque vous utilisez des périodes de plus d'un jour, n'oubliez pas que les utilisateurs actifs hebdomadaires ne correspondent pas à la somme des utilisateurs actifs quotidiens cette semaine-là. Si j'utilise activement votre produit tous les jours de la semaine, je serais compté chaque jour pour une analyse quotidienne. Si vous passez ensuite à une analyse hebdomadaire, je ne devrais apparaître qu'une seule fois et, par conséquent, la somme des jours individuels serait excessive.

Ce modèle vous permet ensuite d'estimer la croissance/la rétention/l'engagement attendus pour un moment donné ou une période de temps en cours en fonction des performances de ces variables explicatives. La différence entre cette croissance attendue et la croissance réelle observée après l'événement est alors la part anormale qui peut indiquer un impact. La division de cette croissance anormale par l'écart type de la croissance attendue indique alors la probabilité que la composante anormale se produise par hasard. En règle générale, un résultat de 1,96 (soit environ deux écarts-types de la valeur prédite) est utilisé comme seuil pour considérer que cela ne s'est pas produit par hasard.

Dans le contexte des cohortes, la rétention et l'engagement peuvent être considérés soit en termes d'évolution entre les cohortes successives (c'est-à-dire en maintenant les valeurs fixes pour chaque cohorte), soit en termes d'évolution dans le temps de la rétention et de l'engagement totaux, sans les ventiler par cohorte.

Impact cumulatif sur la croissance d'une série d'événements

Les stratégies de croissance mettent souvent un point d'honneur à déployer une série d'événements plutôt que des efforts ponctuels, à la fois pour l'impact plus immédiat d'avoir de multiples efforts et pour l'impact sous-jacent de montrer aux clients le modèle lui-même. L'analyse d'impact peut donc également porter sur l'impact cumulatif. Une série d'événements qui sont individuellement insignifiants peuvent entraîner un impact cumulatif important et, inversement, une série d'événements importants peuvent devenir insignifiants.

La première situation peut être considérée comme « lent et régulier gagne la course ». Disons que vos ventes augmentent d'une fraction de pour cent par semaine plus rapidement que votre secteur concerné. Sur une courte période, cela ne signifierait rien, car la croissance d'une entreprise donnée différera légèrement de l'indice de référence par hasard. Cependant, si votre légère surperformance persiste assez longtemps, vous pourrez éventuellement affirmer avec confiance que le taux de croissance de l'entreprise dépasse vraiment celui du marché.

La deuxième situation est essentiellement tout type d'inversion. Les moyens de plus en plus fréquents par lesquels les gens peuvent réagir aux développements avant de traiter véritablement les informations, ainsi que la mentalité de troupeau à court terme, posent le défi de s'assurer que vous considérez l'ampleur et la durée réelles de la réaction à travers le bruit plus immédiat. Dans certaines circonstances, les utilisateurs et les marchés peuvent avoir tendance à sur-réagir systématiquement à court terme (nouvelles technologies, marchés des changes, et souvent mauvaises nouvelles qui ne représentent pas une menace sérieuse pour une entreprise) mais ensuite se corriger eux-mêmes.

Les deux situations peuvent être illustrées comme suit. L'intervalle de confiance indique les limites dans lesquelles nous pouvons nous attendre à ce que 95 % des observations se situent, ce qui est généralement utilisé comme seuil pour juger quelque chose de statistiquement significatif.

L'absence d'inversion significative peut être considérée comme la preuve d'un impact durable. Il faut être prudent avec cette logique car elle va à l'encontre de la règle normale du scepticisme empirique selon laquelle l'absence de preuve n'est pas une preuve d'absence, mais c'est le mieux que nous puissions faire.

Soyez prudent lorsque vous comparez les variations en pourcentage/logarithmiques sur des périodes individuelles. Une diminution de 99 % suivie d'une augmentation de 99 % ne correspond pas exactement à un changement cumulatif insignifiant. Assurez-vous de tenir compte du changement cumulatif à la fin.

Si vous mesurez l'impact cumulé d'une série d'événements tels qu'une campagne de relations publiques spécifique sur une période de temps limitée (c'est-à-dire une période de vacances), vous souhaiterez peut-être suivre la croissance sur tous les jours ou semaines calendaires inclus dans la période. , que chacun ait fait ou non une action spécifique. Vous espérez toujours essentiellement que le coup de poing 1-2-3 donne un KO dans une période spécifique, même s'il peut y avoir de légers délais entre les coups.

Si les événements en question sont plus éloignés mais que vous souhaitez toujours évaluer l'impact cumulatif, vous pouvez envisager de les regrouper en une seule série continue de jours, puis d'exécuter la même analyse. En cela, vous dites essentiellement "Le jour 1 est le 5 janvier, le jour 2 est le 15 mars, le jour 3 est le 10 avril…") et testez leur changement cumulé par rapport à celui prédit par l'indice de référence comme s'il s'agissait en fait de dates complètement séquentielles. Le test de significativité est alors la même formule que pour les événements singuliers, sauf qu'il élève l'écart type à la racine carrée du nombre de jours/semaines qui forment la période cumulée.

Traiter les informations contaminées lors de la mesure de la croissance de l'entreprise

Le monde nous offre rarement la courtoisie de conditions de laboratoire parfaites pour tester nos idées, donc une fois que le modèle de base est établi, il devra très probablement contrôler d'autres informations qui affectent le taux de croissance attendu en même temps que les actions que nous ' re cherche à mesurer.

Supposons qu'en même temps qu'un événement de relations publiques ou une mise à jour de produit, un cadre supérieur décide malheureusement de partir pour un concurrent au milieu d'une grande fanfare de la presse et que vous craignez que certains utilisateurs puissent prendre cela comme un signal des mérites relatifs du deux produits. Malheureusement, une solution très rapide consiste simplement à marquer le point de données comme un événement sans rapport confondu, avec une variable indicatrice.

Cependant, si vous pouvez obtenir des données sur les instances précédentes de l'événement « confondant », vous pouvez effectuer une analyse transversale qui vous permet de prédire l'ampleur de l'impact que cet événement particulier a tendance à avoir dans des circonstances similaires, et vous pouvez supprimer cet impact attendu des résultats finaux. Dans l'exemple ci-dessus, les données sur l'activité des utilisateurs entourant les départs de membres d'équipe de haut niveau dans d'autres entreprises vous permettraient d'estimer et de séparer l'effet de ce facteur particulier afin d'isoler l'effet de l'événement de relations publiques ou de la mise à jour du produit que vous espériez évaluer.

De nombreuses entreprises peuvent également faire face à une saisonnalité basée sur la période de l'année ou certains moments clés tels que les vacances. Attribuez des variables indicatrices à la période de l'année en question pour contrôler cela.

Les non-linéarités de certains impacts

Lorsque vous examinez les résultats de votre analyse et vos stratégies d'efforts de croissance, certains effets non linéaires dans la façon dont les gens ont été documentés pour réagir aux développements positifs méritent d'être pris en compte.

La sensibilité vers le haut ou vers le bas peut être très différente. Si les données et le temps le permettent, envisagez d'estimer les effets attendus des événements positifs et négatifs, si les deux sont pertinents pour vous. Malheureusement, dans de nombreux cas, les mouvements à la baisse allant du comportement des utilisateurs aux marchés financiers peuvent être beaucoup plus brusques et graves que les mouvements à la hausse.

L'effet combiné de l'exécution de plusieurs actions à la fois peut ne pas être égal à celui de leur exécution en séquence, car le fait même du modèle en cours peut lui-même avoir un effet positif ou négatif. Le modèle d'une entreprise qui publie une mise à jour de produit chaque mois peut inspirer confiance aux utilisateurs tout en annonçant plus d'une fois des événements négatifs tels que des licenciements ou des dépréciations peut avoir un effet largement disproportionné en suscitant l'inquiétude que l'entreprise ne comprenne pas pleinement la sienne. situation. Les sociétés cotées en bourse "prendront souvent un bain" et publieront toutes les mauvaises nouvelles en même temps, car il peut y avoir un coup initial "fixe" du fait de la mauvaise nouvelle elle-même, avec un effet ultérieur marginal. L'« effet torpille », par exemple, décrit le phénomène empirique selon lequel la simple présence de mauvaises nouvelles peut expliquer une partie significative d'une baisse de prix. Les baisses négatives peuvent donc se décomposer en un effet fixe initial qui fait place à un effet marginal décroissant du contenu même de l'actualité ou de l'évolution. Les campagnes de relations publiques fonctionnent mieux en séquence qu'en un seul méga-événement, car l'objectif est de positionner l'entreprise dans le temps.

La variance ne peut bien sûr être mesurée qu'historiquement, mais certains événements peuvent modifier la véritable variance sous-jacente et la probabilité que la croissance anormale se produise par hasard. Comme la nouvelle variance est elle-même le résultat de l'événement en question, la variance a priori doit être utilisée afin d'éviter le raisonnement circulaire consistant à rejeter l'importance de l'événement sur la base de la plus grande variance qui l'accompagne. Comme toujours cependant, il y a débat et chaque situation peut être différente.

Comme mentionné précédemment, la croissance ou un ralentissement de la croissance peuvent tous deux engendrer des effets similaires pendant un certain temps, en raison à la fois de la psychologie humaine et de structures de marché très réelles. Bien qu'il existe divers tests d'autocorrélation sophistiqués disponibles pour mesurer les effets de momentum, je trouve que l'approche plus "manuelle" consistant à régresser la série de croissance sur une version décalée d'elle-même est plus transparente et plus facile à expérimenter.

Réflexions finales sur l'approche de l'apprentissage automatique en entreprise

Une fois le modèle permettant de tels tests développé, il n'y a aucune raison pour que les plateformes de suivi du comportement des utilisateurs, des ventes, etc. de l'entreprise ne puissent pas être directement liées à son code pour mettre à jour en permanence les coefficients au fur et à mesure que de nouvelles données sont reçues. Ma préférence personnelle a toujours été d'avoir une période d'estimation d'un an lorsque cela est possible, en ce sens qu'elle équilibre la taille de l'ensemble de données avec la valeur plus élevée des informations les plus récentes et inclut également naturellement toutes les périodes de l'année en cas de saisonnalité.

En supposant qu'il n'y a pas de rupture structurelle dans la nature de l'activité et du produit, il n'y a aucune raison de ne pas prolonger la période d'estimation au-delà d'un an, mais les jeunes entreprises à croissance rapide ont tendance à évoluer rapidement. Les entreprises axées sur les logiciels pourraient se connecter directement à leur GitHub pour créer le processus par lequel les mises à jour logicielles sont automatiquement testées pour leur impact. En créant ce lien direct et en faisant évoluer les fonctions automatiquement, vous avez fait le premier pas vers le déploiement du machine learning pour votre entreprise.

On souligne souvent que l'information est le bien le plus précieux au monde, mais on mentionne moins souvent que les données ne sont pas de l'information. Au contraire, les entreprises sont submergées par tant de données qui peuvent sembler raconter des récits concurrents, dont beaucoup ne peuvent être que de faux modèles basés sur le hasard. Au mieux, les statistiques sont un processus de réduction, c'est-à-dire de se concentrer rapidement sur les variables et les relations clés et de les déployer pour des tests pratiques. L'esprit de cette forme d'analyse est avant tout d'imprégner un scepticisme sain dans le processus de prise de décision en forçant les données à faire leurs preuves en tant qu'informations réelles avant de fonder une décision sur celles-ci.