贝叶斯 A/B 测试 — 哪种销售战略更有效？

"不进行实验的销售团队无法成长。但是，如果不能用概率来解读实验结果，也就无从学习。"

引言：销售中可以进行 A/B 测试吗？

A/B 测试主要用于优化网站的按钮颜色或电子邮件的标题行。然而，在销售活动中，“哪种方式更有效？” 这个问题也始终存在：

问题在于样本量。网站的 A/B 测试可以通过数千名访客迅速得出结论，但 B2B 销售每个季度可能只有几十笔交易。传统的频率学派 (Frequentist) A/B 测试只会重复一句话：“尚未达到统计学上的显著差异 (p > 0.05)”。

贝叶斯 A/B 测试打破了这一限制。即使在小样本下，它也能提供实用的答案，例如“A 优于 B 的概率为 73%”。

第一部分：频率学派 vs 贝叶斯学派 — 有何不同

1.1 频率学派方法

使用战略 A 尝试 20 次 → 8 次成功（转化率 40%） 使用战略 B 尝试 20 次 → 12 次成功（转化率 60%）

频率学派检验：

其中 $\hat{p} = \frac{8 + 12}{40} = 0.50$

p-value = 0.103. 在 0.05 的显著性水平下，“统计学上不显著”。

结论：“目前还不知道，需要收集更多数据。”

在 B2B 销售中，要再收集 40 个案例需要 3 到 6 个月。在这段时间内，必须继续使用低效的战略。

1.2 贝叶斯方法

使用贝叶斯方法分析相同的数据。

先验分布：无信息先验 β(1, 1)

后验分布：

各自的期望值：

蒙特卡洛模拟（10,000 次）：

• 从 Beta(13, 9) 中抽取 10,000 个样本 → $p_B$ 样本
• 从 Beta(9, 13) 中抽取 10,000 个样本 → $p_A$ 样本
• 计算 $p_B > p_A$ 的比例

结论：“战略 B 优于战略 A 的概率为 89.3%。”

频率学派说“不知道”，但贝叶斯学派回答“B 更好的概率是 89.3%”。而且，随着数据的增加，这个答案会变得更加精确。

第二部分：优化销售触点 (Touchpoints)

2.1 可测试的销售变量

在销售流程的每个阶段都可以进行 A/B 测试：

2.2 实战案例：“3 天后跟进 vs 7 天后跟进”

假设：首次会议后的跟进间隔会影响转化率。

设计：

• 战略 A：3 天后电话跟进
• 战略 B：7 天后邮件跟进

8 周后的结果：

贝叶斯分析：

结论：“3 天后的电话跟进优于 7 天后的邮件跟进的概率为 91.7%。建议立即在整个团队内将‘3 天后电话跟进’标准化。”

2.3 计算预期提升 (Expected Lift)

我们还可以计算战略 A 比战略 B 好多少：

通过蒙特卡洛模拟：

与 7 天后的邮件相比，3 天后的电话跟进可将转化率提高约 54%。

第三部分：汤普森采样 (Thompson Sampling) — 边实验边优化

3.1 探索 (Explore) vs 利用 (Exploit) 的困境

A/B 测试的一个根本性问题：在实验期间被应用了劣质战略的客户会遭受损失。在 B2B 销售中，这意味着“为了实验而使用非最优的方法接触客户”。

汤普森采样优雅地解决了这个困境。

3.2 算法

为每个战略 $k$ 维护一个后验分布 $\text{Beta}(\alpha_k, \beta_k)$。

每当有新客户进入时：

1. 从每个战略的后验分布中随机抽取一个样本：$\theta_k \sim \text{Beta}(\alpha_k, \beta_k)$
2. 选择具有最高样本值的战略：$k^* = \arg\max_k \theta_k$
3. 应用所选战略并观察结果（成功/失败）
4. 更新该战略的 $\alpha_k$ 或 $\beta_k$

该算法的核心：表现好的战略会自然而然地被更频繁地选择，而表现差的战略会自然地被淘汰。但是，它并没有完全放弃劣势战略，而是留下了以后翻盘的机会。

3.3 实战应用场景

10 轮后汤普森采样的选择概率：

商业演示 (B) 会自然地以 80% 的权重被选中。技术演示 (A) 还有 15% 的机会，而混合演示 (C) 实际上已被淘汰。

20 轮后：

商业影响：传统的 A/B 测试会在 20 次机会中将大约 7 次“浪费”在低效的战略上。而汤普森采样在 5 轮（5 次）后就开始向最优战略倾斜，实现了在将浪费降至最低的同时进行学习。

第四部分：向组织学习系统进化

4.1 个人的实验成为组织的知识

当销售人员 A 发现“3 天后电话跟进”有效时，该数据会被反映在整个组织的先验分布 (Prior) 中。

下个季度，当新销售人员 B 开始相同的实验时，先验分布不再是 Beta(1, 1)，而是 Beta(10, 7) — 也就是说，从一开始就继承了 A 的经验。

这就是组织学习的贝叶斯循环。每个销售人员的经验都不会消失，而是永远积累在 α 和 β 这两个数字中。

4.2 战略库

随着时间的推移，组织将拥有一个如下所示的贝叶斯战略库：

应用：当新人问“演示应该怎么做？”时，可以直接从库中推荐商业演示（P=65.0%, 🌳 Mature）。这不是前辈的直觉，而是由 38 个实战数据支撑的推荐。

第五部分：实战设计指南

5.1 销售 A/B 测试检查清单

1. 只改变一个变量：在测试跟进间隔时，不能同时改变资料的形式。
2. 最小样本量：贝叶斯方法从 10 个案例开始就能捕捉到有意义的信号，但达到 20 个案例以上时可信度会更高。
3. 随机分配：将客户随机分配到 A/B 组。禁止“容易搞定的客户分给 B，难搞的客户分给 A”。
4. 在同一时间段内执行：如果 1 月份执行 A，2 月份执行 B，就会混入季节性因素。
5. 预先定义结果的衡量标准：提前决定“成功”是指进入第二轮会议、要求报价还是签订合同。

5.2 决策标准

结语：贝叶斯改变销售的未来

下面我们来总结一下在这个 4 篇系列文章中所探讨的内容：

贯穿这 4 篇文章的有一个原则：

“不确定性不是用来消除的，而是用来管理的。”

所有的销售都存在不确定性。客户的想法、竞争对手的动向、市场的变化 — 完全准确地预测这些是不可能的。但是，贝叶斯框架提供了一种量化、追踪并将这种不确定性降至最低的系统方法。

EXAWin 的贝叶斯引擎不仅仅是一个工具。它是一个改变销售组织思维方式的范式 (Paradigm)。

从直觉走向证据。 从感觉走向概率。 从经验走向数据。

而这种改变的起点，就始于你在下一次会议之后，在 EXAWin 中记录的一个小小的信号。

作者：EXA Bayesian Research Lab
发布：EXAWin Technical Series — Vol. 4 (最终篇)
关键字：#BayesianABTest #ThompsonSampling #SalesOptimization #OrganizationalLearning #EXAWin