ベイズA/Bテスト — どの営業戦略がより効果的か

"実験しない営業は成長しない。しかし、実験の結果を確率として読み取れなければ、学びもない。"

序論: 営業においてA/Bテストは可能か？

A/Bテストは主にウェブサイトのボタンの色やメールの件名を最適化するために使用される。しかし、営業活動においても「どちらの方法がより効果的か？」という質問は絶えず存在する：

問題はサンプルサイズである。ウェブサイトのA/Bテストは数千人の訪問者で迅速に結論を出すことができるが、B2B営業は四半期あたり数十件に過ぎない。従来の頻度主義（Frequentist）A/Bテストは「まだ統計的に有意ではない（p > 0.05）」を繰り返すだけだ。

ベイズA/Bテストはこの限界を突破する。少ないサンプルでも「AがBよりも優れている確率が73%」という実用的な回答を提供する。

Part 1: 頻度主義 vs ベイズ主義 — 何が違うのか

1.1 頻度主義的アプローチ

戦略Aで20件試行 → 8件成功（コンバージョン率 40%） 戦略Bで20件試行 → 12件成功（コンバージョン率 60%）

頻度主義的検定：

ここで $\hat{p} = \frac{8 + 12}{40} = 0.50$

p-value = 0.103. 有意水準0.05において「統計的に有意ではない」。

結論：「まだ分からないので、もっとデータを集めろ。」

B2B営業でさらに40件集めるには3〜6ヶ月かかる。その間、非効率的な戦略を使い続けなければならない。

1.2 ベイズ的アプローチ

同じデータをベイズ統計で分析する。

事前分布: 無情報事前分布 β(1, 1)

事後分布:

それぞれの期待値：

モンテカルロ・シミュレーション（10,000回）：

• Beta(13, 9)から10,000個のサンプルを抽出 → $p_B$ サンプル
• Beta(9, 13)から10,000個のサンプルを抽出 → $p_A$ サンプル
• $p_B > p_A$ となる割合を計算

結論: 「戦略Bが戦略Aよりも優れている確率が89.3%である。」

頻度主義は「分からない」と言ったが、ベイズ主義は「89.3%の確率でBが良い」と答えた。そして、この回答はデータが追加されるほどより精巧になる。

Part 2: 営業タッチポイントの最適化

2.1 テスト可能な営業変数

営業プロセスのすべての段階でA/Bテストが可能である：

2.2 実践例: 「3日後フォローアップ vs 7日後フォローアップ」

仮説: 初回ミーティング後のフォローアップ間隔がコンバージョン率に影響を与える。

設計:

• 戦略 A: 3日後にフォローアップの電話
• 戦略 B: 7日後にフォローアップのメール

8週間後の結果:

ベイズ分析:

結論: 「3日後の電話フォローアップが7日後のメールよりも優れている確率91.7%。直ちにチーム全体に『3日後電話フォローアップ』の標準化を推奨。」

2.3 期待リフト（Expected Lift）の計算

戦略AがBよりもどれくらい優れているかも計算できる：

モンテカルロ・シミュレーションにより：

3日後の電話フォローアップは、7日後のメールと比較してコンバージョン率を約54%向上させる。

Part 3: トンプソン抽出（Thompson Sampling） — 実験しながら同時に最適化する

3.1 探索（Explore）vs 活用（Exploit）のジレンマ

A/Bテストの根本的な問題：実験期間中、劣った戦略を適用された顧客は損害を被る。B2B営業において、これは「実験のために最適でないアプローチで顧客に接触する」ことを意味する。

トンプソン抽出は、このジレンマを優雅に解決する。

3.2 アルゴリズム

各戦略 $k$ に対して事後分布 $\text{Beta}(\alpha_k, \beta_k)$ を維持する。

新しい顧客が入ってくるたびに：

1. 各戦略の事後分布からランダムなサンプルを一つ抽出する：$\theta_k \sim \text{Beta}(\alpha_k, \beta_k)$
2. 最も高いサンプル値を持つ戦略を選択する：$k^* = \arg\max_k \theta_k$
3. 選択された戦略を適用し、結果（成功/失敗）を観察する
4. 該当する戦略の $\alpha_k$ または $\beta_k$ を更新する

このアルゴリズムの核心：成果の良い戦略は自然とより頻繁に選択され、成果の悪い戦略は自然と淘汰される。しかし、完全には放棄せず、後で逆転する機会も残しておく。

3.3 実践適用シナリオ

10ラウンド後のトンプソン抽出の選択確率：

ビジネスデモ(B)が自然に80%の比重で選択される。技術デモ(A)は15%でまだ機会が残っており、ハイブリッド(C)は事実上淘汰される。

20ラウンド後：

ビジネスインパクト: 従来のA/Bテストは20件中約7件を非効率的な戦略に「浪費」する。トンプソン抽出は5ラウンド（5件）で最適戦略へと傾き始め、浪費を最小限に抑えながら学習する。

Part 4: 組織学習システムへの進化

4.1 個人の実験が組織の知識になる

営業担当者Aが「3日後電話フォローアップ」が効果的であることを発見すると、そのデータは組織全体の事前分布（Prior）に反映される。

次の四半期、新人営業担当者Bが同じ実験を始める時、事前分布は Beta(1, 1) ではなく Beta(10, 7) — つまり、Aの経験を受け継いだ状態でスタートする。

これが組織学習のベイズ循環である。各営業担当者の経験が消滅することなく、αとβという数字の中に永遠に蓄積される。

4.2 戦略ライブラリ

時間が経つにつれ、組織は次のようなベイズ戦略ライブラリを持つことになる：

活用: 新人が「デモはどのようにすれば良いでしょうか？」と尋ねた時、ライブラリからビジネスデモ（P=65.0%, 🌳 Mature）を推奨する。これは先輩の勘ではなく、38件の実践データが裏付ける推奨である。

Part 5: 実践設計ガイド

5.1 営業A/Bテストのチェックリスト

1. 変数は一つだけ変更する: フォローアップ間隔をテストしながら、同時に資料の形態も変えてはいけない。
2. 最小サンプルサイズ: ベイズ推定は10件から意味のあるシグナルを感知するが、20件以上であれば信頼度が高まる。
3. ランダム割り当て: 顧客をA/Bグループにランダムに割り当てる。「簡単な顧客はB、難しい顧客はA」は禁止。
4. 同一期間に実行: Aを1月に、Bを2月に実行すると、季節要因が混ざってしまう。
5. 結果測定基準の事前定義: 「成功」が2次ミーティングなのか、見積もり依頼なのか、契約なのかをあらかじめ決定しておく。

5.2 意思決定の基準

シリーズの終わりに: ベイズ推定が変える営業の未来

4編にわたるこのシリーズで我々が扱ったことを整理する：

この4編を貫く一つの原則がある：

「不確実性は排除するものではなく、管理するものである。」

すべての営業には不確実性が存在する。顧客の心、競合の動き、市場の変化 — これらを完全に予測することは不可能である。しかし、ベイズ・フレームワークはこの不確実性を定量化し、追跡し、最小化する体系的な方法を提供する。

EXAWinのベイズ・エンジンは単なるツールではない。これは営業組織の思考方式を変えるパラダイムである。

直感から証拠へ。 感覚から確率へ。 経験からデータへ。

そして、その変化の始まりは、次のミーティング後にEXAWinに一つのシグナルを記録することから出発する。

著者: EXA Bayesian Research Lab
発行: EXAWin Technical Series — Vol. 4 (最終編)
キーワード: #BayesianABTest #ThompsonSampling #SalesOptimization #OrganizationalLearning #EXAWin