Applicazioni della statistica per misurare la crescita aziendale

Sintesi

In parte come seguito al mio precedente articolo su come identificare i fattori trainanti della crescita nelle imprese, ora voglio approfondire la tana del coniglio ed esaminare come misurare l'impatto delle iniziative di crescita. Fornirò alcuni strumenti per valutare l'impatto di azioni come aggiornamenti dei prodotti, PR e campagne di marketing sulla crescita dei clienti, sulle metriche di fidelizzazione e sul coinvolgimento. Ciò rappresenta le riflessioni del mio precedente lavoro come statistico, aiutando le aziende a valutare l'impatto sulla loro valutazione di eventi interni ed esterni attraverso le reazioni dei loro titoli negoziati.

Credo che gli strumenti di impatto statistico, più comuni nel mondo degli hedge fund e di Wall Street, possano essere molto più utili alle società tecnologiche per gestire la crescita rispetto a come vengono attualmente applicati. Grazie alla tecnologia che ci mette a disposizione una gamma di informazioni ad alta frequenza sul comportamento degli utenti o dei clienti, un esperto analista statistico o di dati può essere una vera risorsa all'interno dei team commerciali.

Ci sono molti modi per misurare l'impatto della crescita

Come esempio di misurazione dell'impatto statistico sulla valutazione, supponiamo che una società quotata in borsa annunci un nuovo prodotto e desideri conoscere la misura in cui ha influito sulla sua valutazione. La stima dell'impatto reale richiede la contabilizzazione di:

1. Come si è comportato il mercato stesso quel giorno, nel contesto della correlazione del titolo con esso.
2. L'effetto di qualsiasi altra informazione rilevante per l'azienda rilasciata contestualmente.
3. Il semplice fatto che i prezzi dei titoli e il comportamento degli utenti si muovano quotidianamente da una varianza generale, anche in assenza di nuove informazioni.
4. Impatto a più lungo termine, in termini di andamento statisticamente significativo dell'aumento dei prezzi.

Per una società privata, la stessa analisi può essere fatta sulla variazione degli utenti attivi, o clienti, sia a breve che a lungo termine, che fungono da corollario all'attività di prezzo delle azioni. Ciò vale anche per le metriche relative alla conservazione e alla profondità del coinvolgimento.

Stabilire questa forma arrotondata di analisi consente alle aziende di indirizzare le proprie risorse limitate sulla base di segnali di informazioni molto più forti, piuttosto che lasciarsi sviare da quella che potrebbe sembrare una reazione del mercato o dell'utente che in realtà non rappresenta altro che una fluttuazione casuale. Il lavoro iniziale per impostare il modello statistico che separa il segnale dal rumore può produrre enormi dividendi grazie alle intuizioni che apporta agli sforzi di crescita di un'azienda. È anche un processo iterativo che può essere facilmente (e spesso automaticamente) aggiornato e perfezionato man mano che vengono ricevuti nuovi dati.

Selezione della metrica di destinazione da testare

Qualsiasi sforzo di misurazione da parte di un'azienda dovrebbe mirare ad almeno una delle seguenti dimensioni di crescita:

1. Crescita della top-line , definita come la variazione nel tempo delle vendite totali o degli utenti/clienti attivi.
2. Conservazione di utenti e clienti, definita come la vita media di un determinato utente o cliente.
3. La profondità del coinvolgimento di utenti e clienti, definita come la frequenza dell'azione principale intrapresa o il volume delle transazioni tramite la piattaforma.

Tutte e tre le dimensioni sono quantificabili e l'azienda può concettualizzare il suo valore come l'area del triangolo formato da questi tre punti. Se uno crolla, il potenziale di valore degli altri due è fortemente vincolato. Anche se sono certamente d'accordo con molti fondatori e investitori sul fatto che "pochi utenti che ti amano sono migliori di molti a cui piaci", non credo che ciò contraddica l'importanza della crescita della top-line oltre a un forte coinvolgimento e fidelizzazione. La traiettoria conta molto più del livello e iniziare con un gruppo più ristretto di utenti veramente dedicati imposta al meglio le condizioni iniziali per una crescita a lungo termine, in primo luogo.

Il compito chiave per l'azienda è quindi stabilire il quadro analitico che consenta di misurare i veri effetti delle proprie azioni su una o più di queste tre metriche chiave. L'azienda può testare diversi modelli per ciascuno o utilizzare strumenti come equazioni simultanee per collegarli in modo più diretto. Gli sforzi di marketing e PR, secondo la mia esperienza, tendono a risentire particolarmente della mancanza di un'analisi rigorosa sul fatto che l'azienda stia ricevendo un ritorno sull'investimento. Alcune metriche, come visualizzazioni totali, clic e condivisioni, vengono quasi sempre registrate, ma questi sono tutti mezzi per raggiungere un fine e la domanda successiva sugli effetti sulla conversione e sul coinvolgimento dei clienti raramente viene analizzata seriamente.

Scelta del benchmark e dell'esempio di un evento occasionale

Iniziamo con la versione semplificata di un evento occasionale. Supponiamo che un'azienda rilasci un nuovo aggiornamento del prodotto o pubblichi una grande storia di PR il giorno 0 e desideri sapere se rappresenta una mossa nella giusta direzione in termini di effetto sulla crescita. Determinare se è stato ricevuto un segnale reale che l'azienda dovrebbe continuare con sforzi simili richiede sapere quanto è aumentato, rispetto a quanto sarebbe, in assenza dell'evento in questione.

La crescita del benchmark può essere stimata tramite un modello di regressione che prevede la crescita, la fidelizzazione o il coinvolgimento dell'azienda in base a variabili esterne e interne. In alcuni casi, la possibilità di isolare gli utenti interessati da un aggiornamento del prodotto consente il test A/B diretto con un gruppo di controllo. Questo non è il caso, tuttavia, per prodotti su larga scala, PR e attività commerciali che interessano in modo piuttosto uniforme tutti gli utenti attuali e potenziali. Sebbene siano disponibili alcune eccellenti risorse per tali test, molte aziende in fase iniziale possono trovarle costose.

Le variabili che possono essere considerate per questo modello includono:

Tutte le variabili devono essere specificate come tasso di variazione anziché come livello assoluto, utilizzando i logaritmi anziché le percentuali.

Anche il periodo di tempo per ciascuna variabile deve essere considerato attentamente. Alcune variabili sono determinanti (il mercato azionario, ad esempio, è fortemente basato sulle aspettative), mentre altre, come le valutazioni della soddisfazione degli utenti, si basano sull'esperienza passata, ma certamente possono avere rilevanza per la crescita attesa.

Per la regressione stessa, consiglio di iniziare con i minimi quadrati ordinari (OLS) e quindi di passare ad altre forme funzionali solo per motivi specifici. OLS è versatile e allo stesso modo consente un'interpretazione più diretta dei risultati rispetto ad altre forme più complesse. Le modifiche nel contesto di OLS includerebbero una regressione logaritmica per variabili non lineari, variabili di interazione (ad esempio, forse la soddisfazione attuale del cliente e l'attività sui social media) e variabili al quadrato che si ritiene abbiano effetti sproporzionati a valori più grandi. Poiché si spera che la crescita sia esponenziale, le regressioni logaritmiche potrebbero sicuramente rivelarsi un ottimo adattamento.

Per quanto riguarda l'orizzonte temporale dell'impatto dell'azione, assicurati di considerare la frequenza delle azioni o degli acquisti degli utenti per aiutarti a determinare l'intervallo corretto in cui cercare l'impatto. Quando si utilizzano intervalli di tempo più lunghi di un giorno, ricordare che gli utenti attivi settimanali non sono la somma degli utenti attivi giornalieri di quella settimana. Se utilizzo attivamente il tuo prodotto ogni giorno quella settimana, verrei conteggiato ogni giorno per un'analisi giornaliera. Se poi si passa a un'analisi settimanale, dovrei presentarmi solo una volta e quindi sommare i singoli giorni sarebbe un conteggio eccessivo.

Questo modello consente quindi di stimare la crescita/il mantenimento/l'impegno attesi per un dato momento o periodo di tempo in corso sulla base dell'andamento di queste variabili esplicative. La differenza tra questa crescita prevista e la crescita effettiva osservata dopo l'evento è quindi la parte anormale che può indicare un impatto. Dividendo questa crescita anormale per la deviazione standard della crescita attesa, allora si indica quanto fosse probabile che la componente anormale si verificasse per caso. Tipicamente, un risultato di 1,96 (che corrisponde a circa due deviazioni standard dal valore previsto) viene utilizzato come cut-off per ritenere che non si sia verificato per caso.

Nel contesto delle coorti, retention e engagement possono essere considerati sia in termini di cambiamento tra coorti successive (in altre parole, mantenendo i valori fissati per ciascuna coorte), sia come cambiamento nel tempo di retention e engagement totali, senza scomporlo per coorte.

Impatto cumulativo sulla crescita da una serie di eventi

Le strategie di crescita spesso puntano a implementare una serie di eventi piuttosto che sforzi una tantum, sia per l'impatto più immediato di avere più sforzi sia per l'impatto sottostante di mostrare ai clienti il ​​modello stesso. L'analisi dell'impatto può quindi considerare anche l'impatto cumulativo. Una serie di eventi individualmente insignificanti può comportare un impatto cumulativo significativo e, al contrario, una serie di eventi significativi può risultare insignificante.

La prima situazione può essere pensata come "lento e costante vince la gara". Supponiamo che le tue vendite aumentino di una frazione di punto percentuale a settimana più rapidamente rispetto al tuo settore di riferimento. In un breve periodo di tempo ciò non significherebbe nulla, poiché la crescita di una determinata azienda differirà leggermente dal benchmark per caso. Tuttavia, se la tua leggera sovraperformance persiste abbastanza a lungo, alla fine puoi affermare con sicurezza che il tasso di crescita dell'azienda supera davvero quello del mercato.

La seconda situazione è essenzialmente qualsiasi tipo di inversione. I mezzi sempre più ad alta frequenza con cui le persone possono reagire agli sviluppi prima di elaborare veramente le informazioni, così come la mentalità da gregge a breve termine, presentano la sfida di garantire che si consideri la vera entità e durata della reazione attraverso il rumore più immediato. In determinate circostanze, gli utenti ei mercati possono tendere a reagire sistematicamente in modo eccessivo nel breve termine (nuove tecnologie, mercati valutari e spesso cattive notizie che non rappresentano una seria minaccia per un'azienda), ma poi correggersi.

Le due situazioni possono essere illustrate come segue. L'intervallo di confidenza indica i limiti entro i quali possiamo aspettarci che il 95% delle osservazioni rientri, che viene tipicamente utilizzato come soglia per ritenere qualcosa di statisticamente significativo.

L'assenza di un'inversione significativa può essere considerata come prova di un impatto duraturo. Bisogna essere cauti con questa logica poiché è contraria alla normale regola dello scetticismo empirico secondo cui l'assenza di prove non è una prova di assenza, ma è il meglio che possiamo fare.

Fare attenzione quando si confrontano le variazioni percentuali/logaritmiche nei singoli periodi di tempo. Una diminuzione del 99% seguita da un aumento del 99% non compensa esattamente una variazione cumulativa insignificante. Assicurati di considerare il cambiamento cumulativo alla fine.

Se stai misurando l'impatto cumulativo di una serie di eventi, come una specifica campagna di pubbliche relazioni, in un periodo di tempo limitato (ad es. un periodo festivo), potresti voler monitorare la crescita su tutti i giorni o le settimane di calendario inclusi nell'intervallo di tempo , indipendentemente dal fatto che ciascuno abbia o meno un'azione specifica intrapresa. Stai ancora essenzialmente sperando che il pugno 1-2-3 produca un knockout entro un periodo specifico anche se potrebbero esserci lievi ritardi tra i colpi.

Se gli eventi in questione sono più distanti ma si desidera comunque valutare l'impatto cumulativo, è possibile considerare di inserirli insieme in un'unica serie continua di giorni e quindi eseguire la stessa analisi. In questo, stai essenzialmente dicendo "Il giorno 1 è il 5 gennaio, il giorno 2 è il 15 marzo, il giorno 3 è il 10 aprile...") e stai testando il loro cambiamento cumulativo rispetto a quello previsto dal benchmark come se fossero in realtà date completamente sequenziali. Testare la significatività è quindi la stessa formula degli eventi singolari, tranne che in questo caso elevando la deviazione standard alla radice quadrata del numero di giorni/settimane che formano il periodo cumulativo.

Gestire le informazioni contaminate quando si misura la crescita dell'azienda

Il mondo raramente ci offre la cortesia di condizioni di laboratorio perfette per testare le nostre idee, quindi una volta stabilito il modello di base, molto probabilmente avrà bisogno di controllare altre informazioni che influiscono sul tasso di crescita previsto contemporaneamente alle azioni che ' cercando di misurare.

Supponiamo che, contestualmente a un evento PR o ad un aggiornamento del prodotto, un alto dirigente decida sfortunatamente di partire per un concorrente in mezzo a tanto clamore da parte della stampa e ti preoccupi che alcuni utenti possano prenderlo come un segnale dei relativi meriti del due prodotti. Sfortunatamente, una soluzione molto rapida è contrassegnare semplicemente il punto dati come un evento confuso e non correlato, con una variabile indicatore.

Tuttavia, se puoi ottenere dati su istanze precedenti dell'evento "confondente", puoi condurre un'analisi trasversale che ti consente di prevedere quanto impatto tende ad avere quel particolare evento in circostanze simili e puoi rimuovere l'impatto atteso dai risultati finali. Nell'esempio sopra, i dati sull'attività degli utenti che circondano le partenze dei membri del team di alto profilo in altre società ti permetterebbero di stimare e separare l'effetto di quel particolare fattore al fine di isolare l'effetto dell'evento PR o dell'aggiornamento del prodotto che speravi di valutare.

Molte aziende possono anche affrontare la stagionalità in base al periodo dell'anno o a determinati momenti chiave come le vacanze. Assegnare variabili indicatore al periodo dell'anno in questione per controllarlo.

Le non linearità di determinati impatti

Mentre consideri i risultati della tua analisi e le strategie per gli sforzi di crescita, vale la pena tenere a mente alcuni effetti non lineari nel modo in cui è stato documentato che le persone reagiscono a sviluppi positivi.

La sensibilità verso l'alto e verso il basso può essere molto diversa. Dati e tempo permettendo, considera di stimare gli effetti attesi di eventi sia positivi che negativi, se entrambi sono rilevanti per te. Sfortunatamente, i movimenti al ribasso in molti casi, dal comportamento degli utenti ai mercati finanziari, possono essere molto più bruschi e severi dei movimenti al rialzo.

L'effetto combinato di eseguire più azioni contemporaneamente potrebbe non essere uguale a quello di eseguirle in sequenza perché il fatto stesso del modello in corso può avere di per sé un effetto positivo o negativo. Il modello di un'azienda che rilascia un aggiornamento del prodotto ogni mese può infondere fiducia negli utenti mentre annuncia eventi negativi come licenziamenti o svalutazioni più di una volta può avere un effetto notevolmente sproporzionato causando la preoccupazione che l'azienda non comprenda appieno i propri situazione. Le società quotate in borsa spesso "faranno un bagno" e rilasceranno tutte le cattive notizie in una volta, poiché può tendere a esserci un primo colpo "fisso" dal fatto delle cattive notizie stesse, con un effetto marginale successivo. L '"effetto siluro", ad esempio, descrive il fenomeno empirico per cui la semplice presenza di cattive notizie può spiegare una parte significativa di un calo dei prezzi. I cali negativi possono quindi essere scomposti in un effetto fisso iniziale che lascia il posto a un effetto marginale decrescente rispetto al contenuto effettivo della notizia o dello sviluppo. Le campagne di PR funzionano meglio come una sequenza che come un singolo mega-evento, poiché l'obiettivo è posizionare l'azienda nel tempo.

La varianza può ovviamente essere misurata solo storicamente, ma alcuni eventi potrebbero cambiare la vera varianza sottostante e la probabilità che la crescita anormale sia avvenuta per caso. Poiché la nuova varianza è essa stessa il risultato dell'evento in questione, la varianza precedente dovrebbe essere utilizzata al fine di evitare il ragionamento circolare di respingere il significato dell'evento sulla base della varianza più ampia che ne deriva. Come sempre, tuttavia, c'è un dibattito e ogni situazione può essere diversa.

Come accennato in precedenza, la crescita o un rallentamento della crescita possono generare effetti simili per un po', a causa sia della psicologia umana che di strutture di mercato molto reali. Sebbene siano disponibili vari fantasiosi test di autocorrelazione per misurare gli effetti della quantità di moto, trovo che l'approccio più "manuale" di regredire la serie di crescita su una versione ritardata di se stessa sia più trasparente e più facile da sperimentare.

Considerazioni conclusive sull'approccio all'apprendimento automatico nel mondo degli affari

Una volta sviluppato il modello che consente tali test, non c'è motivo per cui le piattaforme aziendali per il monitoraggio del comportamento degli utenti, delle vendite, ecc. non possano essere direttamente collegate al suo codice per aggiornare continuamente i coefficienti man mano che vengono ricevuti nuovi dati. La mia preferenza personale è sempre stata quella di avere un periodo di stima continuativo di un anno quando possibile, in quanto bilancia la dimensione del set di dati con il valore più alto delle informazioni più recenti e include naturalmente anche tutti i periodi dell'anno in caso di stagionalità.

Supponendo che non vi siano interruzioni strutturali nella natura dell'attività e del prodotto, non vi è alcun motivo per non estendere il periodo di stima oltre un anno, ma le giovani aziende in rapida crescita tendono ad evolversi rapidamente. Le aziende basate sul software possono collegarsi direttamente al proprio GitHub per creare il processo mediante il quale gli aggiornamenti software vengono automaticamente testati per l'impatto. Creando questo collegamento diretto e consentendo alle funzioni di evolversi automaticamente, hai fatto il primo passo verso l'implementazione dell'apprendimento automatico per la tua azienda.

Viene spesso sottolineato come l'informazione sia il bene più prezioso del mondo, ma meno spesso viene menzionato che i dati non sono informazioni. Al contrario, le aziende sono sopraffatte da così tanti dati che possono sembrare raccontare narrazioni contrastanti, molte delle quali possono essere solo schemi spuri basati sulla casualità. La statistica al suo meglio è un processo di riduzione, di affinamento rapido delle variabili e delle relazioni chiave e di distribuzione per test pratici. Lo spirito di questa forma di analisi sta soprattutto infondendo sano scetticismo nel processo decisionale costringendo i dati a dimostrarsi come informazioni reali prima di basare una decisione su di esse.