Anwendungen der Statistik zur Messung des Unternehmenswachstums

Zusammenfassung

Zum Teil als Fortsetzung meines vorherigen Artikels darüber, wie man die Wachstumstreiber in Unternehmen identifiziert, möchte ich jetzt weiter in den Kaninchenbau vordringen und untersuchen, wie Sie dann die Auswirkungen von Wachstumsinitiativen messen können. Ich werde einige Tools zur Verfügung stellen, um die Auswirkungen von Aktionen wie Produktaktualisierungen, PR und Marketingkampagnen auf Kundenwachstum, Kundenbindungsmetriken und Engagement zu bewerten. Dies spiegelt meine frühere Arbeit als Statistiker wider, bei der ich Unternehmen dabei geholfen habe, die Auswirkungen interner und externer Ereignisse auf ihre Bewertung anhand der Reaktionen ihrer gehandelten Wertpapiere einzuschätzen.

Ich glaube, dass statistische Impact-Tools, die in der Welt der Hedgefonds und der Wall Street üblicher sind, für Technologieunternehmen bei der Steuerung des Wachstums weitaus nützlicher sein können, als sie derzeit angewendet werden. Aufgrund der Technologie, die uns eine Reihe hochfrequenter Informationen über das Benutzer- oder Kundenverhalten zur Verfügung stellt, kann ein erfahrener Statistik- oder Datenanalyst eine echte Bereicherung für kommerzielle Teams sein.

Es gibt viele Möglichkeiten, die Auswirkungen des Wachstums zu messen

Nehmen wir als Beispiel für die Messung statistischer Auswirkungen auf die Bewertung an, dass ein börsennotiertes Unternehmen ein neues Produkt ankündigt und wissen möchte, inwieweit es seine Bewertung beeinflusst hat. Die Schätzung der tatsächlichen Auswirkungen erfordert die Berücksichtigung von:

1. Wie sich der Markt selbst an diesem Tag im Zusammenhang mit der Korrelation des Wertpapiers damit entwickelt hat.
2. Die Auswirkung von anderen unternehmensrelevanten Informationen, die gleichzeitig veröffentlicht werden.
3. Die einfache Tatsache, dass sich die Wertpapierkurse und das Nutzerverhalten täglich von der allgemeinen Abweichung entfernen, auch wenn keine neuen Informationen vorliegen.
4. Längerfristige Auswirkungen in Form eines statistisch signifikanten Trends bei der Preissteigerung.

Für ein Privatunternehmen kann die gleiche Analyse für die kurz- und langfristige Änderung der aktiven Benutzer oder Kunden durchgeführt werden, die als logische Folge der Aktienkursaktivität dienen. Dies gilt auch für die Metriken zur Bindung und Tiefe des Engagements.

Die Etablierung dieser abgerundeten Form der Analyse ermöglicht es Unternehmen, ihre begrenzten Ressourcen auf der Grundlage weitaus stärkerer Informationssignale zu steuern, anstatt sich von scheinbaren Markt- oder Benutzerreaktionen in die Irre führen zu lassen, die in Wirklichkeit nichts anderes als zufällige Schwankungen darstellen. Die anfängliche Arbeit zum Aufbau des statistischen Modells, das das Signal vom Rauschen trennt, kann durch die Erkenntnisse, die es in die Wachstumsbemühungen eines Unternehmens bringt, enorme Vorteile bringen. Es ist auch ein iterativer Prozess, der leicht (und oft automatisch) aktualisiert und verfeinert werden kann, wenn neue Daten eingehen.

Auswählen der zu testenden Zielmetrik

Jeder Messaufwand eines Unternehmens sollte auf mindestens eine der folgenden Wachstumsdimensionen abzielen:

1. Umsatzwachstum , definiert als die Veränderung des Gesamtumsatzes oder der aktiven Benutzer/Kunden im Laufe der Zeit.
2. Bindung von Benutzern und Clients, definiert als die durchschnittliche Lebensdauer eines bestimmten Benutzers oder Clients.
3. Die Intensität des Engagements von Benutzern und Kunden, definiert entweder als Häufigkeit der durchgeführten Kernmaßnahmen oder als Transaktionsvolumen über die Plattform.

Alle drei Dimensionen sind quantifizierbar, und das Unternehmen kann seinen Wert als die Fläche des Dreiecks auffassen, das durch diese drei Punkte gebildet wird. Wenn einer zusammenbricht, wird das Wertpotenzial der anderen beiden stark eingeschränkt. Obwohl ich vielen Gründern und Investoren sicherlich zustimme, dass „ein paar Benutzer, die Sie lieben, besser sind als viele, die Sie mögen“, glaube ich nicht, dass dies der Bedeutung von Umsatzwachstum neben starkem Engagement und Bindung widerspricht. Die Flugbahn ist viel wichtiger als das Niveau, und der Beginn mit einer kleineren Gruppe wirklich engagierter Benutzer schafft am besten die Anfangsbedingungen für langfristiges Wachstum überhaupt.

Die Hauptaufgabe für das Unternehmen besteht dann darin, den analytischen Rahmen zu schaffen, der es ermöglicht, die tatsächlichen Auswirkungen seiner Maßnahmen auf eine oder mehrere dieser drei Schlüsselkennzahlen zu messen. Das Unternehmen kann entweder verschiedene Modelle für jedes testen oder Tools wie simultane Gleichungen verwenden, um sie direkter zu verknüpfen. Marketing- und PR-Bemühungen leiden meiner Erfahrung nach besonders unter einem Mangel an rigoroser Analyse, ob das Unternehmen eine Rendite auf seine Investition erzielt. Bestimmte Metriken wie Gesamtansichten, Klicks und Shares werden fast immer erfasst, aber dies sind alles Mittel zum Zweck und die nächste Frage nach den Auswirkungen auf die Kundenkonvertierung und das Engagement wird selten ernsthaft analysiert.

Auswahl des Benchmarks und Beispiel eines einmaligen Ereignisses

Wir beginnen mit der vereinfachten Version eines einmaligen Ereignisses. Nehmen wir an, ein Unternehmen veröffentlicht am Tag 0 ein neues Produkt-Update oder veröffentlicht eine große PR-Story und möchte wissen, ob dies einen Schritt in die richtige Richtung in Bezug auf die Auswirkungen auf das Wachstum darstellt. Um festzustellen, ob ein echtes Signal empfangen wurde, dass das Unternehmen mit ähnlichen Bemühungen fortfahren sollte, muss man wissen, wie stark es gestiegen ist und wie stark es ohne das fragliche Ereignis gewesen wäre.

Das Benchmark-Wachstum kann über ein Regressionsmodell geschätzt werden, das das Wachstum, die Bindung oder das Engagement des Unternehmens auf der Grundlage externer und interner Variablen vorhersagt. In bestimmten Fällen ermöglicht die Möglichkeit, die von einem Produktupdate betroffenen Benutzer zu isolieren, direkte A/B-Tests mit einer Kontrollgruppe. Dies gilt jedoch nicht für groß angelegte Produkt-, PR- und Geschäftsbemühungen, die alle aktuellen und potenziellen Benutzer einigermaßen gleichmäßig betreffen. Obwohl für solche Tests einige hervorragende Ressourcen zur Verfügung stehen, können sie für viele Unternehmen in der Frühphase teuer sein.

Zu den Variablen, die für dieses Modell in Betracht gezogen werden können, gehören:

Alle Variablen sollten als Änderungsrate und nicht als absolutes Niveau angegeben werden, wobei Logarithmen anstelle von Prozentsätzen verwendet werden.

Der Zeitrahmen für jede Variable muss ebenfalls sorgfältig überlegt werden. Einige Variablen sind führend (der Aktienmarkt zum Beispiel basiert stark auf Erwartungen), während andere, wie die Bewertungen der Benutzerzufriedenheit, auf früheren Erfahrungen basieren, aber sicherlich für das erwartete Wachstum relevant sein können.

Für die Regression selbst empfehle ich, mit Ordinary Least Squares (OLS) zu beginnen und dann nur aus bestimmten Gründen zu anderen Funktionsformen überzugehen. OLS ist vielseitig und ermöglicht ebenfalls eine direktere Interpretation der Ergebnisse als andere komplexere Formen. Zu den Modifikationen im Zusammenhang mit OLS gehören eine logarithmische Regression für nichtlineare Variablen, Interaktionsvariablen (z. B. aktuelle Kundenzufriedenheit und Social-Media-Aktivität) und Quadrierungsvariablen, von denen Sie glauben, dass sie bei größeren Werten unverhältnismäßige Auswirkungen haben. Da das Wachstum hoffentlich exponentiell ist, könnten sich logarithmische Regressionen sicherlich als stark passend erweisen.

Berücksichtigen Sie in Bezug auf den Zeithorizont der Auswirkungen der Aktion unbedingt die Häufigkeit der Aktionen oder Käufe Ihrer Benutzer, um das richtige Intervall zu bestimmen, in dem Sie nach den Auswirkungen suchen. Wenn Sie Zeiträume von mehr als einem Tag verwenden, denken Sie daran, dass wöchentlich aktive Benutzer nicht die Summe der täglich aktiven Benutzer in dieser Woche sind. Wenn ich Ihr Produkt in dieser Woche jeden Tag aktiv verwende, würde ich jeden Tag für eine tägliche Analyse gezählt. Wenn Sie dann auf eine wöchentliche Auswertung umstellen, würde ich nur einmal auftauchen und somit würde das Aufsummieren der einzelnen Tage überzählen.

Dieses Modell ermöglicht es Ihnen dann, das erwartete Wachstum/Bindung/Engagement für einen bestimmten Moment oder fortlaufenden Zeitraum basierend auf der Leistung dieser erklärenden Variablen zu schätzen. Die Differenz zwischen diesem erwarteten Wachstum und dem tatsächlichen Wachstum, das nach dem Ereignis beobachtet wird, ist dann der abnormale Teil, der auf eine Auswirkung hinweisen kann. Das Teilen dieses abnormalen Wachstums durch die Standardabweichung des erwarteten Wachstums gibt dann an, wie wahrscheinlich es war, dass die abnormale Komponente zufällig auftrat. Typischerweise wird ein Ergebnis von 1,96 (das ungefähr zwei Standardabweichungen vom vorhergesagten Wert entfernt ist) als Grenzwert für die Annahme verwendet, dass es nicht zufällig aufgetreten ist.

Im Zusammenhang mit Kohorten können Bindung und Engagement entweder als Veränderung über aufeinanderfolgende Kohorten betrachtet werden (mit anderen Worten, Festhalten der Werte für jede Kohorte) oder als Veränderung der Gesamtbindung und des Engagements im Laufe der Zeit, ohne sie aufzuschlüsseln nach Kohorte.

Kumulative Wachstumswirkung einer Reihe von Ereignissen

Wachstumsstrategien legen oft Wert darauf, eine Reihe von Ereignissen anstelle einmaliger Bemühungen einzusetzen, sowohl wegen der unmittelbareren Wirkung mehrerer Bemühungen als auch der zugrunde liegenden Wirkung, Kunden das Muster selbst zu zeigen. Die Wirkungsanalyse kann daher auch die kumulative Wirkung betrachten. Eine Reihe von Ereignissen, die für sich genommen unbedeutend sind, kann zu erheblichen kumulativen Auswirkungen führen, und umgekehrt kann eine Reihe bedeutender Ereignisse zu einer unbedeutenden Wirkung führen.

Die erste Situation kann man sich als „langsam und stetig gewinnt das Rennen“ vorstellen. Nehmen wir an, Ihr Umsatz steigt pro Woche um den Bruchteil eines Prozents schneller als Ihre relevante Branche. Über einen kurzen Zeitraum würde dies nichts bedeuten, da das Wachstum eines bestimmten Unternehmens zufällig leicht von der Benchmark abweicht. Wenn Ihre leichte Überperformance jedoch lange genug anhält, können Sie schließlich mit Zuversicht sagen, dass die Wachstumsrate des Unternehmens die des Marktes wirklich übersteigt.

Die zweite Situation ist im Wesentlichen jede Art von Umkehrung. Die zunehmend hochfrequenten Mittel, mit denen Menschen auf Entwicklungen reagieren können, bevor sie die Informationen wirklich verarbeiten, sowie die kurzfristige Herdenmentalität bringen die Herausforderung mit sich, sicherzustellen, dass Sie das wahre Ausmaß und die Dauer der Reaktion durch das unmittelbarere Rauschen berücksichtigen. Nutzer und Märkte neigen unter Umständen dazu, kurzfristig systematisch überzureagieren (neue Technologien, Devisenmärkte und oft auch Hiobsbotschaften, die keine ernsthafte Bedrohung für ein Unternehmen darstellen), um sich dann später selbst zu korrigieren.

Die beiden Situationen lassen sich wie folgt veranschaulichen. Das Konfidenzintervall gibt die Grenzen an, innerhalb derer wir erwarten können, dass 95 % der Beobachtungen fallen, was normalerweise als Schwellenwert für die Annahme von etwas statistisch Signifikantem verwendet wird.

Das Ausbleiben einer signifikanten Umkehrung kann als Beweis für eine nachhaltige Wirkung gewertet werden. Man muss mit dieser Logik vorsichtig sein, da sie der normalen Regel der empirischen Skepsis widerspricht, dass das Fehlen von Beweisen kein Beweis für das Fehlen ist, aber das Beste, was wir tun können.

Seien Sie vorsichtig, wenn Sie prozentuale/logarithmische Änderungen über einzelne Zeiträume vergleichen. Eine Abnahme um 99 % gefolgt von einer Zunahme um 99 % führt nicht gerade zu einer unbedeutenden kumulativen Veränderung. Berücksichtigen Sie am Ende unbedingt die kumulative Veränderung.

Wenn Sie die kumulierte Wirkung einer Reihe von Ereignissen wie einer bestimmten PR-Kampagne innerhalb eines begrenzten Zeitraums (z. B. einer Ferienzeit) messen, möchten Sie möglicherweise das Wachstum über alle Kalendertage oder -wochen im Zeitrahmen verfolgen , unabhängig davon, ob bei jedem eine bestimmte Maßnahme ergriffen wurde oder nicht. Sie hoffen immer noch, dass der 1-2-3-Schlag innerhalb eines bestimmten Zeitraums zu einem Knockout führt, auch wenn es möglicherweise zu leichten Verzögerungen zwischen den Treffern kommt.

Wenn die fraglichen Ereignisse weiter voneinander entfernt sind, Sie aber dennoch die kumulativen Auswirkungen bewerten möchten, können Sie sie zu einer einzigen fortlaufenden Reihe von Tagen zusammenfassen und dann dieselbe Analyse durchführen. Damit sagen Sie im Wesentlichen „Tag 1 ist der 5. Januar, Tag 2 ist der 15. März, Tag 3 ist der 10. April …“) und testen ihre kumulative Veränderung im Vergleich zu der vom Benchmark vorhergesagten, als ob es sich tatsächlich um vollständig aufeinanderfolgende Daten handeln würde. Das Testen der Signifikanz ist dann die gleiche Formel wie bei singulären Ereignissen, außer dass hier die Standardabweichung auf die Quadratwurzel der Anzahl der Tage/Wochen, die den kumulativen Zeitraum bilden, erhöht wird.

Umgang mit kontaminierten Informationen bei der Messung des Unternehmenswachstums

Die Welt bietet uns nur selten perfekte Laborbedingungen, um unsere Ideen zu testen. Sobald das Kernmodell also etabliert ist, muss es höchstwahrscheinlich andere Informationen kontrollieren, die die erwartete Wachstumsrate gleichzeitig mit den von uns durchgeführten Maßnahmen beeinflussen. re versuchen zu messen.

Nehmen wir an, dass sich ein Top-Manager gleichzeitig mit einer PR-Veranstaltung oder einem Produkt-Update beschließt, unter viel Aufhebens von der Presse zu einem Konkurrenten zu gehen, und Sie befürchten, dass einige Benutzer dies als Signal für die relativen Vorzüge des Unternehmens auffassen könnten zwei Produkte. Eine sehr schnelle Lösung besteht leider darin, den Datenpunkt einfach mit einer Indikatorvariablen als verwechseltes, nicht zusammenhängendes Ereignis zu markieren.

Wenn Sie jedoch Daten zu früheren Instanzen des „verwirrenden“ Ereignisses erhalten können, können Sie eine Querschnittsanalyse durchführen, mit der Sie vorhersagen können, wie stark sich dieses bestimmte Ereignis unter ähnlichen Umständen auswirkt, und Sie können es entfernen dass erwartete Auswirkungen von den Endergebnissen. Im obigen Beispiel würden Ihnen Daten zur Benutzeraktivität im Zusammenhang mit dem Abgang hochkarätiger Teammitglieder in anderen Unternehmen ermöglichen, die Auswirkungen dieses bestimmten Faktors abzuschätzen und zu trennen, um die Auswirkungen der erhofften PR-Veranstaltung oder Produktaktualisierung zu isolieren auswerten.

Viele Unternehmen können auch saisonalen Schwankungen ausgesetzt sein, die von der Jahreszeit oder bestimmten Schlüsselmomenten wie Feiertagen abhängig sind. Ordnen Sie Indikatorvariablen der jeweiligen Jahreszeit zu, um dies zu steuern.

Die Nichtlinearitäten bestimmter Stöße

Wenn Sie die Ergebnisse Ihrer Analysen und Strategien für Wachstumsbemühungen betrachten, sollten Sie bestimmte nichtlineare Effekte in der dokumentierten Reaktion von Menschen auf positive Entwicklungen berücksichtigen.

Die Aufwärts- und Abwärtsempfindlichkeit kann sehr unterschiedlich sein. Wenn es die Daten und die Zeit zulassen, ziehen Sie in Betracht, die erwarteten Auswirkungen sowohl positiver als auch negativer Ereignisse abzuschätzen, wenn beide für Sie relevant sind. Leider können Abwärtsbewegungen in vielen Fällen, die vom Benutzerverhalten bis zu den Finanzmärkten reichen, viel abrupter und schwerwiegender sein als Aufwärtsbewegungen.

Der kombinierte Effekt der gleichzeitigen Ausführung mehrerer Aktionen entspricht möglicherweise nicht dem der Ausführung nacheinander, da die Tatsache des fortlaufenden Musters selbst positive oder negative Auswirkungen haben kann. Das Muster eines Unternehmens, das jeden Monat ein Produktupdate veröffentlicht, kann bei den Benutzern Vertrauen schaffen, während die Ankündigung negativer Ereignisse wie Entlassungen oder Abschreibungen mehr als einmal eine weit überproportionale Wirkung haben kann, indem es die Sorge hervorruft, dass das Unternehmen seine eigenen nicht vollständig versteht Lage. Börsennotierte Unternehmen werden oft „ein Bad nehmen“ und alle schlechten Nachrichten auf einmal veröffentlichen, da es tendenziell zu einem anfänglichen „festen“ Schlag aus der Tatsache der schlechten Nachrichten selbst kommen kann, mit geringfügigen Folgewirkungen. Der „Torpedoeffekt“ beschreibt beispielsweise das empirische Phänomen, dass das bloße Vorhandensein schlechter Nachrichten einen bedeutenden Teil eines Kursrückgangs ausmachen kann. Negative Einbrüche lassen sich also in einen zunächst fixen Effekt zerlegen, der einem abnehmenden Randeffekt aus dem eigentlichen Inhalt der Nachricht oder Entwicklung weicht. PR-Kampagnen funktionieren als Sequenz besser als ein einzelnes Mega-Event, da das Ziel darin besteht, das Unternehmen langfristig zu positionieren.

Die Varianz kann natürlich nur historisch gemessen werden, aber bestimmte Ereignisse können die zugrunde liegende wahre Varianz und die Wahrscheinlichkeit ändern, dass das abnormale Wachstum zufällig aufgetreten ist. Da die neue Varianz selbst das Ergebnis des fraglichen Ereignisses ist, sollte die vorherige Varianz verwendet werden, um den Zirkelschluss zu vermeiden, die Bedeutung des Ereignisses aufgrund der damit einhergehenden größeren Varianz abzutun. Wie immer gibt es jedoch Debatten und jede Situation kann anders sein.

Wie bereits erwähnt, können sowohl Wachstum als auch Wachstumsverlangsamung aufgrund der menschlichen Psychologie und sehr realer Marktstrukturen für eine Weile ähnliche Auswirkungen haben. Während es verschiedene ausgefallene Autokorrelationstests zur Messung von Impulseffekten gibt, finde ich den eher „manuellen“ Ansatz, die Wachstumsreihen auf eine verzögerte Version von sich selbst zu regressieren, transparenter und einfacher zu experimentieren.

Abschließende Gedanken zum Umgang mit maschinellem Lernen in der Wirtschaft

Sobald das Modell entwickelt wurde, das solche Tests ermöglicht, gibt es keinen Grund, warum die Plattformen des Unternehmens zur Verfolgung des Benutzerverhaltens, der Verkäufe usw. nicht direkt mit seinem Code verknüpft werden können, um die Koeffizienten kontinuierlich zu aktualisieren, wenn neue Daten eingehen. Meine persönliche Präferenz war immer, wenn möglich, einen rollierenden einjährigen Schätzzeitraum zu haben, indem er die Größe des Datensatzes mit dem höheren Wert neuerer Informationen ausbalanciert und im Falle einer Saisonalität natürlich auch alle Jahreszeiten umfasst.

Unter der Annahme, dass es keine strukturellen Brüche in der Art des Geschäfts und des Produkts gibt, gibt es keinen Grund, den Schätzzeitraum nicht über ein Jahr hinaus zu verlängern, aber junge, schnell wachsende Unternehmen entwickeln sich tendenziell schnell. Software-getriebene Unternehmen könnten direkt mit ihrem GitHub verlinken, um den Prozess zu erstellen, durch den Software-Updates automatisch auf Auswirkungen getestet werden. Indem Sie diese direkte Verbindung herstellen und die Funktionen automatisch weiterentwickeln lassen, haben Sie den ersten Schritt getan, um maschinelles Lernen für Ihr Unternehmen einzusetzen.

Es wird oft darauf hingewiesen, dass Informationen das wertvollste Gut der Welt sind, aber seltener wird erwähnt, dass Daten keine Informationen sind. Im Gegenteil, Unternehmen werden mit so vielen Daten überschwemmt, die konkurrierende Narrative zu erzählen scheinen, von denen viele nur Scheinmuster sein können, die auf Zufälligkeit beruhen. Statistik in ihrer besten Form ist ein Prozess der Reduktion – der schnellen Verfeinerung der Schlüsselvariablen und Beziehungen und deren Einsatz für praktische Tests. Der Geist dieser Form der Analyse besteht vor allem darin, eine gesunde Skepsis in den Entscheidungsprozess einzubringen, indem die Daten gezwungen werden, sich als echte Informationen zu beweisen, bevor Sie eine Entscheidung darauf stützen.