統計在衡量公司成長方面的應用

執行摘要

作為我之前關於如何識別企業增長驅動力的文章的後續部分，我現在想深入研究一下如何衡量增長計劃的影響。 我將提供一些工具來評估產品更新、公關和營銷活動等行為對客戶增長、保留指標和參與度的影響。 這代表了我之前作為統計學家工作的反思，幫助公司通過交易證券的反應來評估對內部和外部事件估值的影響。

我相信，在對沖基金和華爾街世界中更為普遍的統計影響工具對於科技公司管理增長的作用遠大於目前的應用。 由於技術使我們可以獲得有關用戶或客戶行為的一系列高頻信息，因此熟練的統計或數據分析師可以成為商業團隊中的真正資產。

有很多方法可以衡量增長的影響

作為衡量對估值的統計影響的一個例子，讓我們假設一家上市公司宣布了一種新產品，並希望知道它對其估值的影響程度。 估計實際影響需要考慮：

1. 在證券與其相關的背景下，當天市場本身的表現如何。
2. 同時發布的任何其他公司相關信息的影響。
3. 即使在沒有新信息的情況下，證券價格和用戶行為每天都在變化，這一簡單事實也是如此。
4. 長期影響，即價格上漲的統計顯著趨勢。

對於一家私營公司，可以對短期和長期的活躍用戶或客戶的變化進行相同的分析，這是股價活動的必然結果。 這也適用於留存率和參與度指標。

建立這種全面的分析形式使公司能夠根據更強大的信息信號來引導其有限的資源，而不是被看似市場或用戶反應的東西誤導，實際上只是隨機波動。 建立將信號與噪聲分開的統計模型的初步工作可以通過它為公司的發展努力帶來的洞察力產生巨大的紅利。 它也是一個迭代過程，可以在收到新數據時輕鬆（並且通常是自動）更新和完善。

選擇要測試的目標指標

公司的任何衡量工作都應至少針對以下增長維度之一：

1. 收入增長，定義為總銷售額或活躍用戶/客戶隨時間的變化。
2. 用戶和客戶的保留，定義為任何給定用戶或客戶的平均壽命。
3. 用戶和客戶的參與深度，定義為採取核心行動的頻率或通過平台進行的交易量。

所有三個維度都是可以量化的，公司可以將其價值概念化為由這三個點形成的三角形的面積。 如果其中一個倒閉，那麼其他兩個的價值潛力就會受到嚴重限制。 雖然我當然同意許多創始人和投資者的觀點，即“少數愛你的用戶勝過許多喜歡你的用戶”，但我不認為這與除了強大的參與度和留存率外，收入增長的重要性相矛盾。 軌跡比水平更重要，從一小群真正專注的用戶開始，最好首先為長期增長設定初始條件。

公司的關鍵任務是建立分析框架，以衡量他們的行動對這三個關鍵指標中的一個或多個的真實影響。 該公司可以為每個模型測試不同的模型，也可以使用聯立方程等工具更直接地將它們聯繫起來。 以我的經驗，營銷和公關工作往往因缺乏對公司是否獲得投資回報的嚴格分析而受到影響。 某些指標，例如總觀看次數、點擊次數和分享次數，幾乎總是被記錄下來，但這些都是達到目的的手段，而下一個關於對客戶轉化和參與度的影響的問題很少得到認真的分析。

選擇一次性事件的基準和示例

我們從一次性事件的簡化版本開始。 讓我們假設一家公司在第 0 天發布了新產品更新或發布了一個重要的公關故事，並希望知道它是否代表了在對增長的影響方面朝著正確方向邁出的一步。 要確定是否收到了公司應該繼續進行類似努力的真實信號，需要知道在沒有相關事件的情況下它增加了多少，而不是增加了多少。

可以通過回歸模型估計基準增長，該模型基於外部和內部變量預測公司的增長、保留或參與度。 在某些情況下，隔離受產品更新影響的用戶的能力允許使用對照組進行直接 A/B 測試。 然而，對於影響所有當前和潛在用戶的大規模產品、公關和業務工作來說，情況並非如此。 雖然有一些優秀的資源可用於此類測試，但許多早期公司會發現它們很昂貴。

該模型可以考慮的變量包括：

所有變量都應指定為變化率而不是絕對水平，使用對數而不是百分比。

同樣需要仔細考慮每個變量的時間範圍。 一些變量處於領先地位（例如股票市場很大程度上取決於預期），而其他變量（例如用戶滿意度評級）則基於過去的經驗，但肯定可能與預期增長相關。

對於回歸本身，我建議從普通最小二乘法 (OLS) 開始，然後僅出於特定原因才轉向其他函數形式。 OLS 是通用的，並且同樣允許比其他更複雜的形式更直接地解釋結果。 OLS 上下文中的修改將包括非線性變量、交互變量（例如，可能是當前的客戶滿意度和社交媒體活動）的對數回歸，以及您認為在較大值下具有不成比例影響的變量的平方。 由於增長有望呈指數增長，因此對數回歸當然可以證明非常適合。

關於行動影響的時間範圍，請務必考慮用戶的行動或購買頻率，以幫助您確定尋找影響的適當時間間隔。 當使用超過一天的時間範圍時，請記住，每週活躍用戶不是該週每日活躍用戶的總和。 如果我在那週的每一天都積極地使用你的產品，那麼我每天都會被計算在內進行每日分析。 如果您隨後更改為每週分析，我應該只出現一次，因此將各個天數相加會過度計算。

然後，此模型允許您根據這些解釋變量的表現來估計任何給定時刻或持續時間段的預期增長/保留/參與。 這種預期增長與事件發生後觀察到的實際增長之間的差異就是可能表明影響的異常部分。 將這種異常增長除以預期增長的標準偏差，然後表明異常成分偶然發生的可能性有多大。 通常，1.96（與預測值相差大約兩個標準偏差）的結果被用作認為它不是偶然發生的截止值。

在群組的背景下，留存率和參與度既可以根據連續群組之間的變化來考慮（換句話說，保持每個群組的固定值），也可以根據總留存率和參與度隨時間的變化來考慮，而無需將其分解為隊列。

一系列事件的累積增長影響

增長戰略通常強調部署一系列事件而不是一次性努力，這既是為了獲得多重努力的更直接影響，也是為了向客戶展示模式本身的潛在影響。 因此，影響分析也可以查看累積影響。 一系列單獨無關緊要的事件可能會導致重大的累積影響，相反，一系列重大事件可能會變得無關緊要。

第一種情況可以認為是“緩慢而穩定地贏得比賽”。 假設您的銷售額每週增長的速度比您的相關行業快百分之幾。 在短時間內，這將毫無意義，因為任何特定公司的增長都會偶然與基準略有不同。 但是，如果您的輕微超額業績持續足夠長的時間，那麼最終您可以自信地說公司的增長率確實超過了市場的增長率。

第二種情況本質上是任何形式的逆轉。 人們在真正處理信息之前對事態發展做出反應的頻率越來越高，以及短期從眾心理，這帶來了挑戰，即確保您通過更直接的噪音考慮反應的真實幅度和持續時間。 在某些情況下，用戶和市場可能傾向於在短期內系統性地過度反應（新技術、貨幣市場以及通常不會對公司構成嚴重威脅的壞消息），但隨後會自行糾正。

這兩種情況可以說明如下。 置信區間表示我們可以預期 95% 的觀測值落入的範圍，這通常用作認為某事具有統計意義的閾值。

沒有顯著逆轉可以作為持久影響的證據。 人們必須對這種邏輯保持謹慎，因為它與經驗懷疑論的正常規則背道而馳，即缺乏證據並不是不存在的證據，但這是我們能做的最好的事情。

比較各個時間段的百分比/對數變化時要小心。 減少 99%，然後增加 99% 並不能完全抵消微不足道的累積變化。 一定要考慮到最後的累積變化。

如果您要衡量一系列事件（例如特定公關活動）在有限時間段（即假期）內的累積影響，那麼您可能希望跟踪時間範圍內所有日曆日或週的增長，是否每個人都採取了特定的行動。 你基本上仍然希望 1-2-3 出拳在特定時期內產生淘汰賽，即使擊球之間可能會有輕微的延遲。

如果所討論的事件相距較遠，但您仍希望評估累積影響，則可以考慮將它們組合成一個連續的幾天系列，然後運行相同的分析。 在這裡，您實際上是在說“第 1 天是 1 月 5 日，第 2 天是 3 月 15 日，第 3 天是 4 月 10 日……”）並測試它們的累積變化與基準預測的變化，就好像它們實際上是完全連續的日期一樣。 檢驗顯著性的公式與奇異事件的公式相同，不同之處在於將標準偏差提高到形成累積期的天數/週數的平方根。

在衡量公司增長時處理受污染的信息

世界很少為我們提供完美的實驗室條件來檢驗我們的想法，所以一旦核心模型建立起來，它很可能需要在我們採取行動的同時控制影響預期增長率的其他信息。重新尋求衡量。

假設在公關活動或產品更新的同時，一位高管不幸決定在媒體大肆宣傳的情況下離開競爭對手，而您擔心一些用戶可能會將此作為相對優勢的信號兩種產品。 不幸的是，一個非常快速的解決方案是將數據點簡單地標記為帶有指示變量的混淆無關事件。

但是，如果您可以獲得有關“混雜”事件先前實例的數據，那麼您可以進行橫截面分析，以便您預測特定事件在類似情況下往往會產生多大影響，並且您可以刪除最終結果的預期影響。 在上面的示例中，圍繞其他公司的知名團隊成員離職的用戶活動數據將允許您估計和分離該特定因素的影響，以便隔離您希望的公關活動或產品更新的影響評價。

許多公司還可能面臨基於一年中的某個時間或某些關鍵時刻（如假期）的季節性。 將指標變量分配給有問題的一年中的時間以對此進行控制。

某些影響的非線性

當您考慮您的分析結果和增長努力策略時，需要牢記某些非線性效應，即人們如何記錄對積極發展的反應。

向上和向下靈敏度可能非常不同。 如果數據和時間允許，請考慮估計正面和負面事件的預期影響（如果兩者都與您相關）。 不幸的是，在從用戶行為到金融市場的許多情況下，向下運動可能比向上運動更加突然和嚴重。

一次執行多個動作的綜合效果可能不等於按順序執行它們的效果，因為正在進行的模式本身可以產生積極或消極的影響。 公司每月發布產品更新的模式可以給用戶灌輸信心，同時多次宣布裁員或減記等負面事件可能會產生非常不成比例的影響，讓人擔心公司不完全了解自己情況。 上市公司通常會“洗個澡”並立即發布所有壞消息，因為壞消息本身可能會產生最初的“固定”打擊，隨後產生的影響很小。 例如，“魚雷效應”描述了一種經驗現象，即僅存在壞消息就可以解釋價格下跌的重要部分。 因此，負下降可以分解為最初的固定效應，讓位於新聞或發展的實際內容的邊際效應遞減。 公關活動作為一個序列比一個單一的大型活動效果更好，因為目標是隨著時間的推移定位公司。

方差當然只能從歷史上衡量，但某些事件可能會改變潛在的真實方差和異常增長偶然發生的概率。 由於新的方差本身是相關事件的結果，因此應使用先前的方差以避免基於隨之而來的較大方差而忽略事件重要性的循環推理。 然而，與往常一樣，存在爭論，每種情況可能會有所不同。

如前所述，由於人類心理和非常真實的市場結構，增長或增長放緩都可能在一段時間內產生類似的影響。 雖然有各種花哨的自相關測試可用於測量動量效應，但我發現在自身滯後版本上回歸增長序列的更“手動”方法更透明且更易於實驗。

關於在商業中接近機器學習的結論性思考

一旦開發了允許進行此類測試的模型，就沒有理由不能將公司用於跟踪用戶行為、銷售等的平台直接鏈接到其代碼，以便在收到新數據時不斷更新係數。 我個人的偏好一直是盡可能使用滾動的一年估計期，因為它可以平衡數據集的大小與最近信息的更高價值，並且自然地包括一年中的所有時間以防季節性。

假設業務和產品的性質沒有結構性中斷，則沒有理由不將估計期延長至一年以上，但快速成長的年輕公司往往會迅速發展。 軟件驅動的公司可以直接鏈接到他們的 GitHub，以創建自動測試軟件更新影響的流程。 通過創建此直接鏈接並允許功能自動發展，您已經邁出了為您的公司部署機器學習的第一步。

人們經常指出信息是世界上最有價值的商品，但很少有人提到數據不是信息。 相反，公司被如此多的數據所淹沒，這些數據似乎在講述相互競爭的敘述，其中許多可能只是基於隨機性的虛假模式。 最好的統計是一個簡化的過程——快速磨練關鍵變量和關係，並將它們部署到實際測試中。 這種分析形式的精神首先是將健康的懷疑態度灌輸到決策過程中，方法是在您根據數據做出決定之前強制數據證明自己是真實信息。