Aplicații ale statisticilor pentru măsurarea creșterii companiei

Rezumat

În parte, ca urmare a articolului meu anterior despre modul de identificare a factorilor de creștere în afaceri, acum vreau să merg mai departe și să analizez cum puteți măsura apoi impactul inițiativelor de creștere. Voi oferi câteva instrumente pentru evaluarea impactului acțiunilor, cum ar fi actualizările de produse, PR și campaniile de marketing asupra creșterii clienților, a valorilor de retenție și a angajamentului. Aceasta reprezintă reflecții din munca mea anterioară ca statistician, ajutând companiile să evalueze impactul asupra evaluării lor asupra evenimentelor interne și externe prin reacțiile titlurilor lor tranzacționate.

Consider că instrumentele de impact statistic, mai obișnuite în fondurile speculative și în lumea Wall Street, pot fi mult mai utile companiilor de tehnologie pentru gestionarea creșterii decât modul în care sunt aplicate în prezent. Datorită tehnologiei care ne pune la dispoziție o serie de informații de înaltă frecvență cu privire la comportamentul utilizatorului sau al clientului, un analist statistic sau de date calificat poate fi un atu real în cadrul echipelor comerciale.

Există multe modalități de a măsura impactul creșterii

Ca exemplu de măsurare a impactului statistic asupra evaluării, să presupunem că o companie tranzacționată public anunță un nou produs și dorește să știe în ce măsură a avut impact asupra evaluării sale. Estimarea impactului real necesită luarea în considerare a:

1. Cum a evoluat piața însăși în acea zi, în contextul corelației titlului de valoare cu aceasta.
2. Efectul oricărei alte informații relevante pentru companie publicate în același timp.
3. Simplul fapt că prețurile titlurilor de valoare și comportamentul utilizatorilor se deplasează zilnic din variația generală, chiar și în absența unor noi informații.
4. Impact pe termen mai lung, în ceea ce privește o tendință semnificativă statistic de creștere a prețurilor.

Pentru o companie privată, aceeași analiză se poate face și asupra schimbării utilizatorilor activi, sau clienților, atât pe termen scurt, cât și pe termen lung, care servesc drept corolar activității prețului acțiunilor. Acest lucru se aplică și valorilor de retenție și profunzime de implicare.

Stabilirea acestei forme rotunjite de analiză permite companiilor să-și orienteze resursele limitate pe baza unor semnale informaționale mult mai puternice, mai degrabă decât să fie conduse în rătăcire de ceea ce ar putea părea a fi o reacție a pieței sau a utilizatorului, care de fapt nu reprezintă altceva decât o fluctuație aleatorie. Munca inițială de a crea modelul statistic care separă semnalul de zgomot poate aduce dividende extraordinare prin intermediul perspectivelor pe care le aduce eforturilor de creștere ale unei companii. Este, de asemenea, un proces iterativ care poate fi ușor (și adesea automat) actualizat și rafinat pe măsură ce se primesc date noi.

Selectarea valorii țintă de testat

Orice efort de măsurare al unei companii ar trebui să vizeze cel puțin una dintre următoarele dimensiuni de creștere:

1. Creștere de top , definită ca modificarea vânzărilor totale sau a utilizatorilor/clienților activi în timp.
2. Reținerea utilizatorilor și clienților, definită ca durata medie de viață a oricărui utilizator sau client dat.
3. Profunzimea angajamentului utilizatorilor și clienților, definită fie ca frecvență a acțiunii principale întreprinse, fie ca volumul tranzacțiilor prin intermediul platformei.

Toate cele trei dimensiuni sunt cuantificabile, iar compania își poate conceptualiza valoarea ca aria triunghiului format din aceste trei puncte. Dacă unul se prăbușește, atunci potențialul valoric de la celelalte două este sever constrâns. Deși sunt cu siguranță de acord cu mulți fondatori și investitori că „câțiva utilizatori care te iubesc sunt mai buni decât mulți care te plac”, nu cred că acest lucru contrazice importanța creșterii de top pe lângă angajamentul și reținerea puternică. Traiectoria contează mult mai mult decât nivelul și, începând cu un grup mai mic de utilizatori cu adevărat dedicați, cel mai bine stabilește condițiile inițiale pentru creșterea pe termen lung, în primul rând.

Sarcina cheie pentru companie este să stabilească apoi cadrul analitic care să permită măsurarea efectelor reale ale acțiunilor lor asupra uneia sau mai multor dintre aceste trei metrici cheie. Compania poate fie testa diferite modele pentru fiecare sau poate folosi instrumente precum ecuații simultane pentru a le lega mai direct. Eforturile de marketing și PR, din experiența mea, tind să sufere în special din cauza lipsei unei analize riguroase privind dacă compania primește o rentabilitate a investiției sale. Anumite valori, cum ar fi numărul total de vizionări, clicuri și distribuiri, sunt aproape întotdeauna înregistrate, dar toate acestea sunt mijloace pentru a ajunge la un scop, iar următoarea întrebare privind efectele asupra conversiei și angajamentului clienților este rareori analizată serios.

Alegerea benchmark-ului și exemplul unui eveniment unic

Începem cu versiunea simplificată a unui eveniment unic. Să presupunem că o companie lansează o actualizare de produs nou sau publică o poveste mare de PR în Ziua 0 și dorește să știe dacă reprezintă o mișcare în direcția corectă în ceea ce privește efectul asupra creșterii. Pentru a determina dacă s-a primit un semnal real că compania ar trebui să continue cu eforturi similare necesită a ști cât de mult a crescut, față de cât ar avea, în absența evenimentului în cauză.

Creșterea de referință poate fi estimată printr-un model de regresie care prezice creșterea, reținerea sau implicarea companiei pe baza variabilelor externe și interne. În anumite cazuri, capacitatea de a izola acei utilizatori care sunt afectați de o actualizare a produsului permite testarea directă A/B cu un grup de control. Totuși, acesta nu este cazul pentru produse la scară mai mare, PR și eforturi de afaceri care afectează toți utilizatorii actuali și potențiali într-o oarecare măsură uniform. Deși există câteva resurse excelente disponibile pentru astfel de testare, multe companii aflate în stadiu incipient le pot considera scumpe.

Variabilele care pot fi luate în considerare pentru acest model includ:

Toate variabilele trebuie specificate ca o rată de modificare mai degrabă decât ca nivel absolut, folosind logaritmi mai degrabă decât procente.

De asemenea, intervalul de timp pentru fiecare variabilă trebuie luat în considerare cu atenție. Unele variabile sunt lider (piața de valori, de exemplu, se bazează în mare măsură pe așteptări), în timp ce altele, cum ar fi evaluările de satisfacție a utilizatorilor, se bazează pe experiența anterioară, dar cu siguranță pot avea relevanță pentru creșterea așteptată.

Pentru regresia în sine, recomand să începeți cu cele mai mici pătrate ordinare (OLS) și apoi să treceți la alte forme funcționale din motive specifice. OLS este versatil și, de asemenea, permite o interpretare mai directă a rezultatelor decât alte forme mai complexe. Modificările în contextul MCO ar include o regresie logaritmică pentru variabilele neliniare, variabilele de interacțiune (de exemplu, poate satisfacția curentă a clienților și activitatea pe rețelele sociale) și variabilele de pătrare despre care credeți că au efecte disproporționate la valori mai mari. Deoarece creșterea este, sperăm, exponențială, regresiile logaritmice s-ar putea dovedi cu siguranță o potrivire puternică.

În ceea ce privește orizontul de timp al impactului acțiunii, asigurați-vă că luați în considerare frecvența acțiunilor sau achizițiilor utilizatorilor dvs. pentru a vă ajuta să determinați intervalul potrivit în care să căutați impactul. Când utilizați intervale de timp mai lungi de o zi, rețineți că utilizatorii activi săptămânali nu reprezintă suma utilizatorilor activi zilnic în acea săptămână. Dacă folosesc în mod activ produsul dvs. în fiecare zi în acea săptămână, atunci aș fi numărat în fiecare zi pentru o analiză zilnică. Dacă apoi treceți la o analiză săptămânală, ar trebui să apar o singură dată și, prin urmare, însumarea zilelor individuale ar depăși.

Acest model vă permite apoi să estimați creșterea/retenția/implicarea așteptate pentru orice moment dat sau perioadă de timp în curs, pe baza performanței acestor variabile explicative. Diferența dintre această creștere așteptată și creșterea reală observată după eveniment este atunci porțiunea anormală care poate indica impact. Împărțirea acestei creșteri anormale la abaterea standard a creșterii așteptate indică apoi cât de probabil era ca componenta anormală să apară întâmplător. De obicei, un rezultat de 1,96 (fiind la aproximativ două abateri standard de la valoarea prezisă) este utilizat ca limită pentru a considera că nu a avut loc întâmplător.

În contextul cohortelor, retenția și implicarea pot fi considerate fie în termeni de schimbare între cohorte succesive (cu alte cuvinte, păstrarea valorilor fixe pentru fiecare cohortă), fie schimbarea în timp a retenției și angajării totale, fără a le defalca prin cohortă.

Impactul de creștere cumulat dintr-o serie de evenimente

Strategiile de creștere au adesea scopul de a implementa o serie de evenimente, mai degrabă decât eforturi unice, atât pentru impactul mai imediat al eforturilor multiple, cât și pentru impactul subiacent al arătării clienților modelul în sine. Prin urmare, analiza impactului poate analiza și impactul cumulativ. O serie de evenimente care sunt individual nesemnificative poate avea ca rezultat un impact cumulativ semnificativ și, invers, o serie de evenimente semnificative se pot transforma în nesemnificație.

Prima situație poate fi considerată ca „încet și constant câștigă cursa”. Să presupunem că vânzările tale cresc cu o fracțiune de procent pe săptămână mai repede decât sectorul tău relevant. Într-o perioadă scurtă de timp, acest lucru nu ar însemna nimic, deoarece creșterea oricărei companii va diferi ușor de punctul de referință din întâmplare. Dacă o ușoară supraperformanță continuă, totuși, suficient de mult, atunci în cele din urmă puteți afirma cu încredere că rata de creștere a companiei o depășește cu adevărat pe cea a pieței.

A doua situație este în esență orice fel de inversare. Mijloacele de frecvență din ce în ce mai înaltă prin care oamenii pot reacționa la evoluții înainte de a procesa cu adevărat informațiile, precum și mentalitatea de turmă pe termen scurt, aduc provocarea de a vă asigura că luați în considerare amploarea și durata reală a reacției prin zgomotul mai imediat. În anumite circumstanțe, utilizatorii și piețele pot avea tendința de a suprareacționa sistematic pe termen scurt (noi tehnologii, piețe valutare și adesea vești proaste care nu reprezintă o amenințare serioasă pentru o companie), dar apoi să se corecteze.

Cele două situații pot fi ilustrate după cum urmează. Intervalul de încredere indică limitele în care ne putem aștepta să cadă 95% din observații, care este de obicei folosit ca prag pentru a considera ceva semnificativ statistic.

Absența unei inversări semnificative poate fi considerată o dovadă a impactului de durată. Trebuie să fim precauți cu această logică, deoarece este contrar regulii normale a scepticismului empiric că absența dovezilor nu este o dovadă a absenței, dar este ceea ce putem face mai bine.

Fiți atenți când comparați modificările procentuale/logaritmice pe perioade de timp individuale. O scădere de 99%, urmată de o creștere de 99%, nu reprezintă o schimbare cumulativă nesemnificativă. Asigurați-vă că luați în considerare schimbarea cumulată în final.

Dacă măsurați impactul cumulativ al unei serii de evenimente, cum ar fi o anumită campanie de PR într-o perioadă limitată de timp (adică, un sezon de vacanță), atunci vă recomandăm să urmăriți creșterea în toate zilele sau săptămânile calendaristice incluse în intervalul de timp. , indiferent dacă fiecare a avut sau nu o acțiune specifică întreprinsă. În esență, încă sperați că lovitura 1-2-3 va produce un knockout într-o anumită perioadă, chiar dacă ar putea exista ușoare întârzieri între lovituri.

Dacă evenimentele în cauză sunt mai îndepărtate, dar doriți totuși să evaluați impactul cumulativ, puteți lua în considerare să le încadrați într-o singură serie continuă de zile și apoi să efectuați aceeași analiză. În acest sens, spuneți în esență „Ziua 1 este 5 ianuarie, ziua 2 este 15 martie, ziua 3 este 10 aprilie...”) și testați schimbarea lor cumulativă față de cea prezisă de benchmark ca și cum ar fi de fapt date complet secvențiale. Testarea semnificației este atunci aceeași formulă ca și în cazul evenimentelor singulare, cu excepția faptului că ridicarea abaterii standard la rădăcina pătrată a numărului de zile/săptămâni care formează perioada cumulativă.

Gestionarea informațiilor contaminate atunci când se măsoară creșterea companiei

Lumea rareori ne oferă amabilitatea condițiilor perfecte de laborator pentru a ne testa ideile, așa că odată ce modelul de bază este stabilit, cel mai probabil va trebui să controleze alte informații care afectează rata de creștere așteptată în același timp cu acțiunile pe care le facem. caut să măsoare.

Să presupunem că, în același timp cu un eveniment de PR sau cu o actualizare a produsului, un director executiv de top decide, din păcate, să plece la un concurent în mijlocul multor fanfare din partea presei și deveniți îngrijorat că unii utilizatori ar putea lua acest lucru ca pe un semnal al meritelor relative ale doua produse. O soluție foarte rapidă, din păcate, este să marcați pur și simplu punctul de date ca un eveniment confuz fără legătură, cu o variabilă indicator.

Cu toate acestea, dacă puteți obține date despre cazurile anterioare ale evenimentului „confuz”, atunci puteți efectua o analiză transversală care vă permite să preziceți cât de mult impact tinde să aibă acel eveniment anume în circumstanțe similare și puteți elimina impactul scontat de la rezultatele finale. În exemplul de mai sus, datele despre activitatea utilizatorilor din jurul plecărilor de membri ai echipei de profil înalt în alte companii v-ar permite să estimați și să separați efectul acelui factor special pentru a izola efectul evenimentului de PR sau al actualizării produsului pe care sperați să îl faceți. a evalua.

Multe companii se pot confrunta, de asemenea, cu sezonalitatea în funcție de perioada anului sau de anumite momente cheie, cum ar fi vacanțele. Atribuiți variabile indicatoare perioadei din an în cauză pentru a controla acest lucru.

Neliniaritățile anumitor impacturi

Pe măsură ce luați în considerare rezultatele analizei și strategiile dvs. pentru eforturile de creștere, merită luate în considerare anumite efecte neliniare în modul în care oamenii au fost documentați să reacționeze la evoluțiile pozitive.

Sensibilitatea în sus versus în jos poate fi foarte diferită. Dacă datele și timpul permit, luați în considerare estimarea efectelor așteptate ale evenimentelor pozitive și negative, dacă ambele sunt relevante pentru dvs. Din păcate, mișcările în jos, în multe cazuri, de la comportamentul utilizatorilor până la piețele financiare, pot fi mult mai abrupte și mai severe decât mișcările ascendente.

Efectul combinat al efectuării mai multor acțiuni simultan poate să nu fie egal cu cel al efectuării lor în secvență, deoarece însuși faptul că modelul în desfășurare poate avea în sine un efect pozitiv sau negativ. Modelul unei companii care lansează o actualizare a unui produs în fiecare lună poate insufla încredere utilizatorilor, în timp ce anunțarea evenimentelor negative, cum ar fi concedieri sau reduceri de valoare de mai multe ori poate avea un efect extrem de disproporționat, provocând îngrijorarea că compania nu își înțelege pe deplin propriile lucruri. situatie. Companiile cotate la bursă vor „face adesea o baie” și vor lansa toate veștile proaste deodată, deoarece poate avea tendința de a exista o lovitură inițială „remediată” din cauza veștilor proaste în sine, cu un efect ulterior marginal. „Efectul Torpedo”, de exemplu, descrie fenomenul empiric conform căruia simpla prezență a veștilor proaste poate explica o parte semnificativă a scăderii prețurilor. Prin urmare, picăturile negative pot fi împărțite într-un efect fix inițial care lasă loc unui efect marginal în scădere față de conținutul real al știrilor sau al dezvoltării. Campaniile de PR funcționează mai bine ca o secvență decât un mega-eveniment singular, deoarece scopul este de a poziționa compania în timp.

Desigur, variația poate fi măsurată doar din punct de vedere istoric, dar anumite evenimente ar putea schimba varianța reală subiacentă și probabilitatea ca creșterea anormală să se fi produs întâmplător. Deoarece noua variație este ea însăși rezultatul evenimentului în cauză, variația anterioară ar trebui utilizată pentru a evita raționamentul circular de respingere a semnificației evenimentului pe baza variației mai mari care vine cu acesta. Ca întotdeauna, însă, există dezbateri și fiecare situație poate fi diferită.

După cum sa menționat anterior, creșterea sau încetinirea creșterii pot genera efecte similare pentru o perioadă, atât datorită psihologiei umane, cât și a structurilor de piață foarte reale. Deși există diverse teste de autocorelare fanteziste disponibile pentru măsurarea efectelor impulsului, consider că abordarea mai „manuală” de regresare a seriei de creștere pe o versiune întârziată a acesteia este mai transparentă și mai ușor de experimentat.

Gânduri finale despre abordarea învățării automate în afaceri

Odată dezvoltat modelul care permite o astfel de testare, nu există niciun motiv pentru care platformele companiei de urmărire a comportamentului utilizatorilor, vânzărilor etc. nu pot fi legate direct de codul său pentru a actualiza continuu coeficienții pe măsură ce se primesc date noi. Preferința mea personală a fost întotdeauna să am o perioadă de estimare de un an, atunci când este posibil, în sensul că echilibrează dimensiunea setului de date cu valoarea mai mare a informațiilor mai recente și, de asemenea, include în mod natural toate perioadele anului în caz de sezonalitate.

Presupunând că nu există rupturi structurale în natura afacerii și a produsului, nu există niciun motiv pentru a nu prelungi perioada de estimare peste un an, dar companiile tinere cu creștere rapidă tind să evolueze rapid. Companiile bazate pe software se pot conecta direct la GitHub pentru a crea procesul prin care actualizările de software sunt testate automat pentru impact. Prin crearea acestei legături directe și permițând funcțiilor să evolueze automat, ați făcut primul pas către implementarea învățării automate pentru compania dvs.

Se subliniază adesea că informația este cea mai valoroasă marfă din lume, dar se menționează mai rar că datele nu sunt informații. Dimpotrivă, companiile sunt copleșite de atât de multe date care pot părea să spună narațiuni concurente, dintre care multe pot fi doar modele false bazate pe aleatoriu. Statistica în cea mai bună măsură este un proces de reducere - de aprofundare rapidă a variabilelor și relațiilor cheie și de a le implementa pentru teste practice. Spiritul acestei forme de analiză este, mai presus de toate, să introducă un scepticism sănătos în procesul de luare a deciziilor, forțând datele să se dovedească ca informații reale înainte de a baza o decizie pe baza lor.