Zastosowania statystyki do pomiaru wzrostu firmy

Podsumowanie wykonawcze

Po części jako kontynuacja mojego poprzedniego artykułu o tym, jak zidentyfikować czynniki napędzające wzrost w firmach, chcę teraz zejść głębiej w króliczą norę i przyjrzeć się, jak można następnie zmierzyć wpływ inicjatyw rozwojowych. Dostarczę kilka narzędzi do oceny wpływu działań, takich jak aktualizacje produktów, PR i kampanie marketingowe, na wzrost klientów, wskaźniki retencji i zaangażowanie. To odzwierciedla refleksje z mojej poprzedniej pracy jako statystyka, pomagając firmom ocenić wpływ na ich wycenę zdarzeń wewnętrznych i zewnętrznych poprzez reakcje ich papierów wartościowych będących w obrocie.

Uważam, że narzędzia statystyczne, bardziej powszechne w świecie funduszy hedgingowych i Wall Street, mogą być znacznie bardziej przydatne dla firm technologicznych do zarządzania wzrostem niż obecnie. Dzięki technologii udostępniającej nam szereg informacji o wysokiej częstotliwości dotyczących zachowań użytkowników lub klientów, wykwalifikowany analityk statystyczny lub analityk danych może być prawdziwym atutem w zespołach komercyjnych.

Istnieje wiele sposobów mierzenia wpływu wzrostu

Jako przykład pomiaru statystycznego wpływu na wycenę załóżmy, że spółka giełdowa ogłasza nowy produkt i chce wiedzieć, w jakim stopniu wpłynęło to na jego wycenę. Oszacowanie rzeczywistego wpływu wymaga uwzględnienia:

1. Jak tego dnia zachowywał się sam rynek, w kontekście korelacji z nim papieru wartościowego.
2. Wpływ wszelkich innych istotnych dla firmy informacji opublikowanych w tym samym czasie.
3. Prosty fakt, że ceny papierów wartościowych i zachowania użytkowników zmieniają się codziennie od ogólnej wariancji, nawet przy braku nowych informacji.
4. Wpływ długoterminowy, w postaci statystycznie istotnego trendu wzrostu cen.

W przypadku firmy prywatnej taką samą analizę można przeprowadzić na temat zmiany aktywnych użytkowników lub klientów, zarówno w krótkim, jak i długim okresie, co jest następstwem aktywności cen akcji. Dotyczy to również wskaźników retencji i głębokości zaangażowania.

Ustanowienie tej zaokrąglonej formy analizy pozwala firmom kierować swoje ograniczone zasoby w oparciu o znacznie silniejsze sygnały informacyjne, zamiast dać się zwieść temu, co może wydawać się reakcją rynku lub użytkownika, która w rzeczywistości reprezentuje jedynie losowe fluktuacje. Wstępna praca nad stworzeniem modelu statystycznego, który oddziela sygnał od szumu, może przynieść ogromne korzyści dzięki spostrzeżeniom, które wnosi do wysiłków na rzecz rozwoju firmy. Jest to również proces iteracyjny, który można łatwo (i często automatycznie) aktualizować i udoskonalać w miarę odbierania nowych danych.

Wybór docelowej metryki do przetestowania

Wszelkie działania pomiarowe podejmowane przez firmę powinny być ukierunkowane na co najmniej jeden z następujących wymiarów wzrostu:

1. Wzrost przychodów , definiowany jako zmiana łącznej sprzedaży lub liczby aktywnych użytkowników/klientów w czasie.
2. Retencja użytkowników i klientów, definiowana jako średni czas życia danego użytkownika lub klienta.
3. Głębokość zaangażowania użytkowników i klientów, definiowana jako częstotliwość podejmowanych podstawowych działań lub wolumen transakcji za pośrednictwem platformy.

Wszystkie trzy wymiary są policzalne, a firma może konceptualizować swoją wartość jako obszar trójkąta utworzonego przez te trzy punkty. Jeśli jeden upada, to potencjał wartości dwóch pozostałych jest poważnie ograniczony. Chociaż z pewnością zgadzam się z wieloma założycielami i inwestorami, że „kilku użytkowników, którzy cię kochają, jest lepszych niż wielu, którzy cię lubią”, nie wierzę, że jest to sprzeczne ze znaczeniem wzrostu przychodów, oprócz silnego zaangażowania i utrzymania. Trajektoria ma większe znaczenie niż poziom, a rozpoczęcie od mniejszej grupy prawdziwie zaangażowanych użytkowników najlepiej wyznacza początkowe warunki do długoterminowego rozwoju.

Kluczowym zadaniem dla firmy jest następnie ustalenie ram analitycznych, które pozwolą zmierzyć rzeczywiste efekty jej działań na jednym lub więcej z tych trzech kluczowych wskaźników. Firma może albo przetestować różne modele dla każdego z nich, albo użyć narzędzi, takich jak równoczesne równania, aby połączyć je w bardziej bezpośredni sposób. Z mojego doświadczenia wynika, że ​​działania marketingowe i PR są szczególnie dotknięte brakiem rygorystycznej analizy, czy firma otrzymuje zwrot z inwestycji. Niektóre wskaźniki, takie jak łączna liczba wyświetleń, kliknięć i udostępnień, są prawie zawsze rejestrowane, ale to wszystko jest środkiem do celu, a kolejne pytanie dotyczące wpływu na konwersję i zaangażowanie klientów rzadko jest poddawane poważnej analizie.

Wybór benchmarku i przykładu jednorazowego wydarzenia

Zaczynamy od uproszczonej wersji jednorazowego wydarzenia. Załóżmy, że firma wypuszcza nową aktualizację produktu lub publikuje dużą historię PR w dniu 0 i chce wiedzieć, czy oznacza to ruch we właściwym kierunku pod względem wpływu na wzrost. Ustalenie, czy otrzymano realny sygnał, że firma powinna kontynuować podobne działania, wymaga wiedzy o tym, jak bardzo wzrosłaby, a ile by wzrosła, gdyby nie doszło do danego wydarzenia.

Wzrost benchmarku można oszacować za pomocą modelu regresji, który przewiduje wzrost, utrzymanie lub zaangażowanie firmy w oparciu o zmienne zewnętrzne i wewnętrzne. W niektórych przypadkach możliwość izolowania użytkowników, których dotyczy aktualizacja produktu, umożliwia bezpośrednie testowanie A/B z grupą kontrolną. Nie jest tak jednak w przypadku produktów, PR i działań biznesowych na większą skalę, które w pewnym stopniu wpływają na wszystkich obecnych i potencjalnych użytkowników. Chociaż dostępne są doskonałe zasoby do takich testów, wiele firm na wczesnym etapie może uznać je za drogie.

Zmienne, które można wziąć pod uwagę w tym modelu, obejmują:

Wszystkie zmienne należy określić jako stopę zmian, a nie poziom bezwzględny, używając logarytmów, a nie wartości procentowych.

Należy również dokładnie rozważyć ramy czasowe dla każdej zmiennej. Niektóre zmienne są wiodące (na przykład giełda jest w dużej mierze oparta na oczekiwaniach), podczas gdy inne, takie jak oceny zadowolenia użytkowników, opierają się na wcześniejszych doświadczeniach, ale z pewnością mogą mieć znaczenie dla oczekiwanego wzrostu.

Dla samej regresji zalecam rozpoczęcie od zwykłych najmniejszych kwadratów (OLS), a następnie przejście do innych form funkcjonalnych z określonych powodów. OLS jest wszechstronny i podobnie pozwala na bardziej bezpośrednią interpretację wyników niż inne bardziej złożone formy. Modyfikacje w kontekście OLS obejmowałyby regresję logarytmiczną dla zmiennych nieliniowych, zmienne interakcji (na przykład, być może bieżące zadowolenie klientów i aktywność w mediach społecznościowych) oraz zmienne do kwadratu, które Twoim zdaniem mają nieproporcjonalne skutki przy większych wartościach. Ponieważ wzrost jest, miejmy nadzieję, wykładniczy, regresje logarytmiczne mogą z pewnością okazać się silnym dopasowaniem.

Jeśli chodzi o horyzont czasowy wpływu działania, pamiętaj, aby wziąć pod uwagę częstotliwość działań lub zakupów użytkowników, aby pomóc Ci określić właściwy przedział czasu, w którym należy szukać wpływu. W przypadku korzystania z ram czasowych dłuższych niż jeden dzień pamiętaj, że tygodniowi aktywni użytkownicy nie są sumą aktywnych użytkowników dziennie w danym tygodniu. Gdybym aktywnie korzystał z Twojego produktu każdego dnia w tym tygodniu, byłbym liczony każdego dnia do codziennej analizy. Jeśli następnie przejdziesz do analizy cotygodniowej, powinienem pojawić się tylko raz, a zatem sumowanie poszczególnych dni byłoby zbyt wysokie.

Ten model umożliwia następnie oszacowanie oczekiwanego wzrostu/utrzymania/zaangażowania w dowolnym momencie lub trwającym okresie w oparciu o wyniki tych zmiennych objaśniających. Różnica między tym oczekiwanym wzrostem a faktycznym wzrostem obserwowanym po zdarzeniu jest więc częścią nienormalną, która może wskazywać na wpływ. Podzielenie tego nieprawidłowego wzrostu przez odchylenie standardowe oczekiwanego wzrostu wskazuje, jak prawdopodobne jest przypadkowe wystąpienie nieprawidłowego składnika. Zazwyczaj wynik 1,96 (czyli około dwóch odchyleń standardowych od przewidywanej wartości) jest używany jako punkt odcięcia dla uznania, że ​​nie nastąpiło to przypadkowo.

W kontekście kohort, utrzymanie i zaangażowanie można rozpatrywać w kategoriach zmiany w kolejnych kohortach (innymi słowy, utrzymywania wartości ustalonych dla każdej kohorty) lub zmiany w czasie całkowitego utrzymania i zaangażowania, bez podziału na kohorta.

Skumulowany wpływ na wzrost z serii wydarzeń

Strategie rozwoju często kierują się raczej serią wydarzeń niż jednorazowymi działaniami, zarówno w celu uzyskania bardziej bezpośredniego wpływu wielu wysiłków, jak i ukrytego wpływu pokazywania klientom samego wzorca. Analiza wpływu może zatem uwzględniać również wpływ skumulowany. Seria zdarzeń, które są indywidualnie nieistotne, może skutkować znaczącym skumulowanym wpływem i odwrotnie, seria znaczących zdarzeń może doprowadzić do nieistotności.

Pierwszą sytuację można uznać za „powolne i stabilne wygrywanie wyścigu”. Załóżmy, że Twoja sprzedaż wzrasta o ułamek procenta tygodniowo szybciej niż w odpowiednim sektorze. W krótkim czasie to by nic nie znaczyło, ponieważ wzrost każdej firmy przez przypadek będzie nieznacznie odbiegał od benchmarku. Jeśli jednak Twoja niewielka nadmierna wydajność utrzymuje się wystarczająco długo, w końcu możesz z pewnością stwierdzić, że tempo wzrostu firmy naprawdę przekracza tempo wzrostu rynku.

Druga sytuacja to w zasadzie wszelkiego rodzaju odwrócenie. Coraz wyższe częstotliwości, za pomocą których ludzie mogą reagować na zmiany, zanim naprawdę przetworzą informacje, a także krótkoterminowa mentalność stada, niosą wyzwanie polegające na upewnieniu się, że należy wziąć pod uwagę prawdziwą wielkość i czas trwania reakcji poprzez bardziej bezpośredni hałas. W pewnych okolicznościach użytkownicy i rynki mogą mieć tendencję do systematycznego nadmiernego reagowania w krótkim okresie (nowe technologie, rynki walutowe i często złe wiadomości, które nie stanowią poważnego zagrożenia dla firmy), ale później sami się poprawiają.

Te dwie sytuacje można zilustrować w następujący sposób. Przedział ufności wskazuje granice, w których możemy oczekiwać, że mieści się 95% obserwacji, co jest zwykle używane jako próg do uznania czegoś za statystycznie istotne.

Brak znaczącego odwrócenia można uznać za dowód trwałego wpływu. Należy być ostrożnym z tą logiką, ponieważ jest ona sprzeczna z normalną zasadą empirycznego sceptycyzmu, że brak dowodów nie jest dowodem na brak, ale jest to najlepsze, co możemy zrobić.

Zachowaj ostrożność podczas porównywania zmian procentowych/logarytmicznych w poszczególnych okresach czasu. Spadek o 99%, po którym następuje wzrost o 99%, nie oznacza dokładnie nieznacznej skumulowanej zmiany. Koniecznie rozważ skumulowaną zmianę.

Jeśli mierzysz skumulowany wpływ serii wydarzeń, takich jak konkretna kampania PR w ograniczonym okresie czasu (np. w okresie świątecznym), możesz chcieć śledzić wzrost we wszystkich dniach lub tygodniach kalendarzowych uwzględnionych w ramach czasowych , niezależnie od tego, czy każdy z nich podjął określone działanie. Nadal zasadniczo masz nadzieję, że uderzenie 1-2-3 spowoduje nokaut w określonym czasie, nawet jeśli między uderzeniami mogą wystąpić niewielkie opóźnienia.

Jeśli zdarzenia, o których mowa, są bardziej od siebie oddalone, ale nadal chcesz ocenić skumulowany wpływ, możesz rozważyć połączenie ich w jedną ciągłą serię dni, a następnie przeprowadzenie tej samej analizy. W tym przypadku zasadniczo mówisz „Dzień 1 to 5 stycznia, dzień 2 to 15 marca, dzień 3 to 10 kwietnia…”) i testujesz ich skumulowaną zmianę w porównaniu z przewidywaną przez benchmark, tak jakby były to w rzeczywistości całkowicie sekwencyjne daty. Testowanie istotności jest wtedy tym samym wzorem, co w przypadku pojedynczych zdarzeń, z wyjątkiem tego, że podnosi odchylenie standardowe do pierwiastka kwadratowego z liczby dni/tygodni, które tworzą skumulowany okres.

Postępowanie z zanieczyszczonymi informacjami podczas pomiaru rozwoju firmy

Świat rzadko zapewnia nam doskonałe warunki laboratoryjne do testowania naszych pomysłów, więc po ustaleniu podstawowego modelu najprawdopodobniej będzie musiał kontrolować inne informacje, które wpływają na oczekiwaną stopę wzrostu w tym samym czasie, co działania, które my ponownie staram się mierzyć.

Załóżmy, że w tym samym czasie, co wydarzenie PR lub aktualizacja produktu, dyrektor generalny decyduje się niestety odejść do konkurenta wśród wielu fanfar ze strony prasy i zaczynasz się obawiać, że niektórzy użytkownicy mogą to potraktować jako sygnał względnych zalet dwa produkty. Niestety jednym z bardzo szybkich rozwiązań jest po prostu oznaczenie punktu danych jako pomieszanego niepowiązanego zdarzenia za pomocą zmiennej wskaźnikowej.

Jeśli jednak możesz uzyskać dane na temat poprzednich przypadków „mylącego” zdarzenia, możesz przeprowadzić analizę przekrojową, która pozwoli Ci przewidzieć, jak duży wpływ ma to konkretne zdarzenie w podobnych okolicznościach, i możesz usunąć oczekiwany wpływ ostatecznych wyników. W powyższym przykładzie dane dotyczące aktywności użytkowników związane z odejściami głośnych członków zespołu do innych firm pozwoliłyby oszacować i oddzielić wpływ tego konkretnego czynnika w celu wyizolowania wpływu zdarzenia PR lub aktualizacji produktu, na które miałeś nadzieję oceniać.

Wiele firm może również borykać się z sezonowością w zależności od pory roku lub pewnych kluczowych momentów, takich jak święta. Przypisz zmienne wskaźnikowe do danej pory roku, aby to kontrolować.

Nieliniowości niektórych oddziaływań

Rozważając wyniki swojej analizy i strategii działań na rzecz wzrostu, warto pamiętać o pewnych nieliniowych efektach tego, w jaki sposób ludzie reagują na pozytywne zmiany.

Czułość w górę iw dół może być bardzo różna. Jeśli pozwalają na to dane i czas, rozważ oszacowanie oczekiwanych skutków zarówno pozytywnych, jak i negatywnych wydarzeń, jeśli oba są dla Ciebie istotne. Niestety ruchy w dół w wielu przypadkach, od zachowań użytkowników po rynki finansowe, mogą być znacznie bardziej gwałtowne i dotkliwe niż ruchy w górę.

Połączony efekt wykonywania wielu czynności naraz może nie równać się wykonaniu ich po kolei, ponieważ sam fakt trwającego wzorca może mieć pozytywny lub negatywny skutek. Wzorzec firmy, która co miesiąc publikuje aktualizację produktu, może wzbudzić zaufanie użytkowników, podczas gdy więcej niż jeden raz ogłasza negatywne zdarzenia, takie jak zwolnienia lub odpisy, może mieć znacznie nieproporcjonalny efekt, powodując obawy, że firma nie w pełni rozumie swoje własne sytuacja. Spółki notowane na giełdzie często „biorą kąpiel” i natychmiast publikują wszystkie złe wieści, ponieważ może pojawić się początkowy „naprawiony” cios z samego faktu złych wiadomości, z marginalnym późniejszym efektem. Na przykład „Efekt torpedowy” opisuje empiryczne zjawisko polegające na tym, że sama obecność złych wiadomości może stanowić znaczącą część spadku cen. Ujemne spadki można zatem podzielić na początkowy stały efekt, który ustępuje malejącemu marginalnemu efektowi rzeczywistej treści wiadomości lub rozwoju. Kampanie PR lepiej sprawdzają się jako sekwencja niż jedno pojedyncze mega wydarzenie, ponieważ celem jest pozycjonowanie firmy w czasie.

Wariancję można oczywiście zmierzyć tylko historycznie, ale pewne wydarzenia mogą zmienić leżącą u jej podstaw prawdziwą wariancję i prawdopodobieństwo, że anormalny wzrost nastąpił przypadkowo. Ponieważ nowa wariancja jest sama w sobie wynikiem danego zdarzenia, należy użyć wcześniejszej wariancji, aby uniknąć okrężnego rozumowania polegającego na odrzuceniu znaczenia zdarzenia na podstawie większej wariancji, która mu towarzyszy. Jak zawsze jednak toczy się debata i każda sytuacja może być inna.

Jak wspomniano wcześniej, wzrost lub spowolnienie wzrostu mogą przez jakiś czas powodować podobne skutki, zarówno ze względu na ludzką psychikę, jak i bardzo realne struktury rynkowe. Chociaż dostępne są różne fantazyjne testy autokorelacji do pomiaru efektów momentum, uważam, że bardziej „ręczne” podejście polegające na regresji serii wzrostu na opóźnionej wersji samego siebie jest bardziej przejrzyste i łatwiejsze do eksperymentowania.

Końcowe przemyślenia na temat podejścia do uczenia maszynowego w biznesie

Po opracowaniu modelu, który pozwala na takie testowanie, nie ma powodu, dla którego platformy firmy do śledzenia zachowań użytkowników, sprzedaży itp. nie mogą być bezpośrednio połączone z jej kodem, aby stale aktualizować współczynniki w miarę pojawiania się nowych danych. Moją osobistą preferencją zawsze było, aby w miarę możliwości mieć kroczący roczny okres szacowania, który równoważy rozmiar zbioru danych z wyższą wartością nowszych informacji, a także naturalnie obejmuje wszystkie pory roku w przypadku sezonowości.

Zakładając brak strukturalnych przerw w charakterze działalności i produktu, nie ma powodu, aby nie przedłużać okresu szacowania poza rok, ale młode, szybko rozwijające się firmy mają tendencję do szybkiej ewolucji. Firmy korzystające z oprogramowania mogą łączyć się bezpośrednio ze swoim GitHub, aby stworzyć proces, w którym aktualizacje oprogramowania są automatycznie testowane pod kątem wpływu. Tworząc to bezpośrednie łącze i umożliwiając automatyczną ewolucję funkcji, zrobiłeś pierwszy krok w kierunku wdrożenia uczenia maszynowego w swojej firmie.

Często wskazuje się, że informacja jest najcenniejszym towarem na świecie, ale rzadziej mówi się, że dane nie są informacją. Wręcz przeciwnie, firmy są przytłoczone tak dużą ilością danych, które mogą wydawać się opowiadać konkurencyjne narracje, z których wiele może być po prostu fałszywymi wzorcami opartymi na losowości. Statystyka w najlepszym wydaniu to proces redukcji — szybkiego doskonalenia kluczowych zmiennych i relacji oraz wdrażania ich do praktycznych testów. Duch tej formy analizy przede wszystkim wpaja zdrowy sceptycyzm w proces podejmowania decyzji, zmuszając dane do udowodnienia, że ​​są prawdziwą informacją, zanim podejmiesz na ich podstawie decyzję.