WhatsApp 如何对新功能进行 A/B 测试？

[liza89]

WhatsApp 作为 Meta（前身为 Facebook）旗下的产品，高度依赖复杂的 A/B 测试方法来开发、迭代和推出新功能。这种数据驱动的方法使他们能够了解用户行为，衡量变更的影响，并在向全球数十亿用户发布功能之前做出明智的决策。

WhatsApp 通常对新功能进行 A/B 测试的方式如下：

1.假设制定：

每个 A/B 测试都始于一个明确的假设。例如，“如果我们引入‘X’功能，我们预计‘Z’操作的用户参与度将提升‘Y’，并且不会对其他关键指标产生负面影响。”
这涉及了解用户痛点、发现改进机会以及集思广益寻找潜在解决方案。
2. 功能标记（推出管理）：

将部署与发布分离： WhatsApp（以及整个 Meta）广泛使用“功能开关”（也称为“功能切换”或“远程配置”）。这使得工程师能够将包含未发布功能的新代码部署到生产环境中，而不会立即向所有用户公开。
精细控制：功能开关可以精细控制哪些用户可以看到应用的哪个版本。这对于 A/B 测试至关重要，因为它可以让特定用户群体接触到不同的功能变化。
3.实验设计：

定义变体：最简单的 A/B 测试包含一个“控制组”（版本 A），该组继续 波兰 whatsapp 号码数据 体验当前的应用行为；以及一个“变体组”（版本 B），该组接收新功能或变更。更复杂的测试可能涉及包含多个变体的 A/B/n 测试。
定义指标：明确定义关键绩效指标 (KPI) 来衡量新功能的成功或失败。这些指标可以包括：
参与度指标：消息发送/接收率、在应用程序上花费的时间、功能采用率（例如，有多少用户启用或使用新功能）。
留存指标：新功能推出后，有多少用户继续使用该应用程序。
性能指标：应用程序加载时间、电池使用情况、崩溃率。
“护栏”指标：不得受到负面影响的指标（例如，整体消息传递、隐私设置使用情况、阻止/报告的数量）。
样本量计算：统计功效分析用于确定最小样本量（每个组中的用户数）以及在预期效应大小的情况下检测对照组和变体组之间统计上显著差异所需的时间。
4.用户细分和随机化：

随机分配：用户被随机分配到对照组或变体组。这种随机化至关重要，以确保观察到的任何指标差异都是由特征变化本身引起的，而不是由用户组之间预先存在的差异引起的。
用户 ID（非个人数据）：分配通常基于用户唯一标识符（例如，内部用户 ID）的确定性哈希值进行，以确保特定用户在整个实验过程中始终看到相同版本的功能，即使在不同设备或应用重新安装后也是如此。这不会在 A/B 测试中暴露个人身份信息。
逐步推出：新功能很少会立即向所有用户发布。相反，它们会逐步推出，先从一小部分用户（例如 1%、5%、10%）开始。这使得 WhatsApp 能够在更大范围发布之前，先监控性能，并在小范围内发现任何不可预见的错误或负面影响。
5.数据收集和分析：

遥测和日志记录： WhatsApp 的客户端应用程序和后端系统收集大量关于用户交互、性能指标和功能使用情况的匿名遥测数据。这些数据会被记录并发送到 Meta 的分析平台。
安全管道：分析数据传输通过安全管道处理，与端到端 (E2EE) 消息传递内容分离。虽然 A/B 测试数据本身并非端到端 (E2EE)，但它经过汇总和匿名处理，以保护用户隐私。
统计分析：数据科学家和分析师使用统计方法比较对照组和变体组之间的 KPI。他们寻找统计上的显著差异，以表明新功能是否具有假设的影响。
仪表盘和监控：实时仪表盘监控整个实验过程中的关键指标。如果任何关键的“护栏”指标显示出显著的负面趋势，实验可以立即暂停或回滚。
6.迭代和决策：

迭代过程： A/B 测试是一个迭代过程。如果某个功能表现良好，它可能会推广给更多用户。如果表现不佳，它可能会被放弃，或者根据洞察重新设计，或者进行进一步的测试。
学习：即使是“失败”的 A/B 测试也能提供有关用户偏好和设计选择影响的宝贵经验。
全面推出：一旦某个功能显示出积极影响并且没有明显的负面影响，它就会逐步推广到整个用户群。
挑战和考虑：

网络效应和相互依赖性： WhatsApp 是一款网络产品。影响用户交互的 A/B 测试功能（例如群组功能）可能非常复杂，因为一个用户的行为可能会影响其他用户。
长期影响：某些功能可能在短期内带来益处，但长期来看却会产生负面影响。WhatsApp 会进行长期测试或分析用户群，以了解其持续影响。
隐私保护分析：在进行全面的 A/B 测试的同时保护用户隐私是一项持续的挑战，尤其是在 E2EE 测试中。WhatsApp 依靠汇总的匿名数据和精心设计的实验平台来尊重用户隐私。
调试和回滚：如果部署的功能在生产中导致意外问题，功能标记系统还可以快速回滚，从而最大限度地减少对用户的影响。
通过系统地进行 A/B 测试，WhatsApp 确保以数据驱动的方式引入新功能，最大限度地提高用户体验，并最大限度地降低平台稳定性和可靠性的风险。