统计在衡量公司成长方面的应用

执行摘要

作为我之前关于如何识别企业增长驱动力的文章的后续部分，我现在想深入研究一下如何衡量增长计划的影响。 我将提供一些工具来评估产品更新、公关和营销活动等行为对客户增长、保留指标和参与度的影响。 这代表了我之前作为统计学家工作的反思，帮助公司通过交易证券的反应来评估对内部和外部事件估值的影响。

我相信，在对冲基金和华尔街世界中更为普遍的统计影响工具对于科技公司管理增长的作用远大于目前的应用。 由于技术使我们可以获得有关用户或客户行为的一系列高频信息，因此熟练的统计或数据分析师可以成为商业团队中的真正资产。

有很多方法可以衡量增长的影响

作为衡量对估值的统计影响的一个例子，让我们假设一家上市公司宣布了一种新产品，并希望知道它对其估值的影响程度。 估计实际影响需要考虑：

1. 在证券与其相关的背景下，当天市场本身的表现如何。
2. 同时发布的任何其他公司相关信息的影响。
3. 即使在没有新信息的情况下，证券价格和用户行为每天都在变化，这一简单事实也是如此。
4. 长期影响，即价格上涨的统计显着趋势。

对于一家私营公司，可以对短期和长期的活跃用户或客户的变化进行相同的分析，这是股价活动的必然结果。 这也适用于留存率和参与度指标。

建立这种全面的分析形式使公司能够根据更强大的信息信号来引导其有限的资源，而不是被看似市场或用户反应的东西误导，实际上只是随机波动。 建立将信号与噪声分开的统计模型的初步工作可以通过它为公司的发展努力带来的洞察力产生巨大的红利。 它也是一个迭代过程，可以在收到新数据时轻松（并且通常是自动）更新和完善。

选择要测试的目标指标

公司的任何衡量工作都应至少针对以下增长维度之一：

1. 收入增长，定义为总销售额或活跃用户/客户随时间的变化。
2. 用户和客户的保留，定义为任何给定用户或客户的平均寿命。
3. 用户和客户的参与深度，定义为采取核心行动的频率或通过平台进行的交易量。

所有三个维度都是可以量化的，公司可以将其价值概念化为由这三个点形成的三角形的面积。 如果其中一个倒闭，那么其他两个的价值潜力就会受到严重限制。 虽然我当然同意许多创始人和投资者的观点，即“少数爱你的用户胜过许多喜欢你的用户”，但我不认为这与除了强大的参与度和留存率外，收入增长的重要性相矛盾。 轨迹比水平更重要，从一小群真正专注的用户开始，最好首先为长期增长设定初始条件。

公司的关键任务是建立分析框架，以衡量他们的行动对这三个关键指标中的一个或多个的真实影响。 该公司可以为每个模型测试不同的模型，也可以使用联立方程等工具更直接地将它们联系起来。 以我的经验，营销和公关工作往往因缺乏对公司是否获得投资回报的严格分析而受到影响。 某些指标，例如总观看次数、点击次数和分享次数，几乎总是被记录下来，但这些都是达到目的的手段，而下一个关于对客户转化和参与度的影响的问题很少得到认真的分析。

选择一次性事件的基准和示例

我们从一次性事件的简化版本开始。 让我们假设一家公司在第 0 天发布了新产品更新或发布了一个重要的公关故事，并希望知道它是否代表了在对增长的影响方面朝着正确方向迈出的一步。 要确定是否收到了公司应该继续进行类似努力的真实信号，需要知道在没有相关事件的情况下它增加了多少，而不是增加了多少。

可以通过回归模型估计基准增长，该模型基于外部和内部变量预测公司的增长、保留或参与度。 在某些情况下，隔离受产品更新影响的用户的能力允许使用对照组进行直接 A/B 测试。 然而，对于影响所有当前和潜在用户的大规模产品、公关和业务工作来说，情况并非如此。 虽然有一些优秀的资源可用于此类测试，但许多早期公司会发现它们很昂贵。

该模型可以考虑的变量包括：

所有变量都应指定为变化率而不是绝对水平，使用对数而不是百分比。

同样需要仔细考虑每个变量的时间范围。 一些变量处于领先地位（例如股票市场很大程度上取决于预期），而其他变量（例如用户满意度评级）则基于过去的经验，但肯定可能与预期增长相关。

对于回归本身，我建议从普通最小二乘法 (OLS) 开始，然后仅出于特定原因才转向其他函数形式。 OLS 是通用的，并且同样允许比其他更复杂的形式更直接地解释结果。 OLS 上下文中的修改将包括非线性变量、交互变量（例如，可能是当前的客户满意度和社交媒体活动）的对数回归，以及您认为在较大值下具有不成比例影响的变量的平方。 由于增长有望呈指数增长，因此对数回归当然可以证明非常适合。

关于行动影响的时间范围，请务必考虑用户的行动或购买频率，以帮助您确定寻找影响的适当时间间隔。 当使用超过一天的时间范围时，请记住，每周活跃用户不是该周每日活跃用户的总和。 如果我在那周的每一天都积极地使用你的产品，那么我每天都会被计算在内进行每日分析。 如果您随后更改为每周分析，我应该只出现一次，因此将各个天数相加会过度计算。

然后，此模型允许您根据这些解释变量的表现来估计任何给定时刻或持续时间段的预期增长/保留/参与。 这种预期增长与事件发生后观察到的实际增长之间的差异就是可能表明影响的异常部分。 将这种异常增长除以预期增长的标准偏差，然后表明异常成分偶然发生的可能性有多大。 通常，1.96（与预测值相差大约两个标准偏差）的结果被用作认为它不是偶然发生的截止值。

在群组的背景下，留存率和参与度既可以根据连续群组之间的变化来考虑（换句话说，保持每个群组的固定值），也可以根据总留存率和参与度随时间的变化来考虑，而无需将其分解为队列。

一系列事件的累积增长影响

增长战略通常强调部署一系列事件而不是一次性努力，这既是为了获得多重努力的更直接影响，也是为了向客户展示模式本身的潜在影响。 因此，影响分析也可以查看累积影响。 一系列单独无关紧要的事件可能会导致重大的累积影响，相反，一系列重大事件可能会变得无关紧要。

第一种情况可以认为是“缓慢而稳定地赢得比赛”。 假设您的销售额每周增长的速度比您的相关行业快百分之几。 在短时间内，这将毫无意义，因为任何特定公司的增长都会偶然与基准略有不同。 但是，如果您的轻微超额业绩持续足够长的时间，那么最终您可以自信地说公司的增长率确实超过了市场的增长率。

第二种情况本质上是任何形式的逆转。 人们在真正处理信息之前对事态发展做出反应的频率越来越高，以及短期从众心理，这带来了挑战，即确保您通过更直接的噪音考虑反应的真实幅度和持续时间。 在某些情况下，用户和市场可能倾向于在短期内系统性地过度反应（新技术、货币市场以及通常不会对公司构成严重威胁的坏消息），但随后会自行纠正。

这两种情况可以说明如下。 置信区间表示我们可以预期 95% 的观测值落入的范围，这通常用作认为某事具有统计意义的阈值。

没有显着逆转可以作为持久影响的证据。 人们必须对这种逻辑保持谨慎，因为它与经验怀疑论的正常规则背道而驰，即缺乏证据并不是不存在的证据，但这是我们能做的最好的事情。

比较各个时间段的百分比/对数变化时要小心。 减少 99%，然后增加 99% 并不能完全抵消微不足道的累积变化。 一定要考虑到最后的累积变化。

如果您要衡量一系列事件（例如特定公关活动）在有限时间段（即假期）内的累积影响，那么您可能希望跟踪时间范围内所有日历日或周的增长，是否每个人都采取了特定的行动。 你基本上仍然希望 1-2-3 出拳在特定时期内产生淘汰赛，即使击球之间可能会有轻微的延迟。

如果所讨论的事件相距较远，但您仍希望评估累积影响，则可以考虑将它们组合成一个连续的几天系列，然后运行相同的分析。 在这里，您实际上是在说“第 1 天是 1 月 5 日，第 2 天是 3 月 15 日，第 3 天是 4 月 10 日……”）并测试它们的累积变化与基准预测的变化，就好像它们实际上是完全连续的日期一样。 检验显着性的公式与奇异事件的公式相同，不同之处在于将标准偏差提高到形成累积期的天数/周数的平方根。

在衡量公司增长时处理受污染的信息

世界很少为我们提供完美的实验室条件来检验我们的想法，所以一旦核心模型建立起来，它很可能需要在我们采取行动的同时控制影响预期增长率的其他信息。重新寻求衡量。

假设在公关活动或产品更新的同时，一位高管不幸决定在媒体大肆宣传的情况下离开竞争对手，而您担心一些用户可能会将此作为相对优势的信号两种产品。 不幸的是，一个非常快速的解决方案是将数据点简单地标记为带有指示变量的混淆无关事件。

但是，如果您可以获得有关“混杂”事件先前实例的数据，那么您可以进行横截面分析，以便您预测特定事件在类似情况下往往会产生多大影响，并且您可以删除最终结果的预期影响。 在上面的示例中，围绕其他公司的知名团队成员离职的用户活动数据将允许您估计和分离该特定因素的影响，以便隔离您希望的公关活动或产品更新的影响评价。

许多公司还可能面临基于一年中的某个时间或某些关键时刻（如假期）的季节性。 将指标变量分配给有问题的一年中的时间以对此进行控制。

某些影响的非线性

当您考虑您的分析结果和增长努力策略时，需要牢记某些非线性效应，即人们如何记录对积极发展的反应。

向上和向下灵敏度可能非常不同。 如果数据和时间允许，请考虑估计正面和负面事件的预期影响（如果两者都与您相关）。 不幸的是，在从用户行为到金融市场的许多情况下，向下运动可能比向上运动更加突然和严重。

一次执行多个动作的综合效果可能不等于按顺序执行它们的效果，因为正在进行的模式本身可以产生积极或消极的影响。 公司每月发布产品更新的模式可以给用户灌输信心，同时多次宣布裁员或减记等负面事件可能会产生非常不成比例的影响，让人担心公司不完全了解自己情况。 上市公司通常会“洗个澡”并立即发布所有坏消息，因为坏消息本身可能会产生最初的“固定”打击，随后产生的影响很小。 例如，“鱼雷效应”描述了一种经验现象，即仅存在坏消息就可以解释价格下跌的重要部分。 因此，负下降可以分解为最初的固定效应，让位于新闻或发展的实际内容的边际效应递减。 公关活动作为一个序列比一个单一的大型活动效果更好，因为目标是随着时间的推移定位公司。

方差当然只能从历史上衡量，但某些事件可能会改变潜在的真实方差和异常增长偶然发生的概率。 由于新的方差本身是相关事件的结果，因此应使用先前的方差以避免基于随之而来的较大方差而忽略事件重要性的循环推理。 然而，与往常一样，存在争论，每种情况可能会有所不同。

如前所述，由于人类心理和非常真实的市场结构，增长或增长放缓都可能在一段时间内产生类似的影响。 虽然有各种花哨的自相关测试可用于测量动量效应，但我发现在自身滞后版本上回归增长序列的更“手动”方法更透明且更易于实验。

关于在商业中接近机器学习的结论性思考

一旦开发了允许进行此类测试的模型，就没有理由不能将公司用于跟踪用户行为、销售等的平台直接链接到其代码，以便在收到新数据时不断更新系数。 我个人的偏好一直是尽可能使用滚动的一年估计期，因为它可以平衡数据集的大小与最近信息的更高价值，并且自然地包括一年中的所有时间以防季节性。

假设业务和产品的性质没有结构性中断，则没有理由不将估计期延长至一年以上，但快速成长的年轻公司往往会迅速发展。 软件驱动的公司可以直接链接到他们的 GitHub，以创建自动测试软件更新影响的流程。 通过创建此直接链接并允许功能自动发展，您已经迈出了为您的公司部署机器学习的第一步。

人们经常指出信息是世界上最有价值的商品，但很少有人提到数据不是信息。 相反，公司被如此多的数据所淹没，这些数据似乎在讲述相互竞争的叙述，其中许多可能只是基于随机性的虚假模式。 最好的统计是一个简化的过程——快速磨练关键变量和关系，并将它们部署到实际测试中。 这种分析形式的精神首先是将健康的怀疑态度灌输到决策过程中，方法是在您根据数据做出决定之前强制数据证明自己是真实信息。