マーケティング施策を行ううえで「どの施策がどれだけ売上や顧客ロイヤルティに寄与したのか」を正しく把握することは不可欠です。
しかし、多忙な現場では「とりあえずメルマガを配信」「SNS広告を強化」など、実施した施策の効果を検証しないまま次の施策に走りがちです。
その結果、組織内にノウハウが蓄積されず、同じ失敗や非効率が繰り返されるという光景は珍しくありません。
効果検証の目的は施策に再現性を持たせることです。
詳しくは下記のコラムで解説しています。あわせてご一読ください。
本記事では、施策立案からデータ分析、効果検証の手法、検証後のフィードバックまでをワンストップで進めるためのフレームワークと実践ノウハウを解説します。
たとえば「休眠顧客の掘り起こし」という目的でメルマガを送付する場合、開封率やクリック率は途中成果を把握する中間KPIであり、最終的に追うべきは再購買率や受注額といったビジネスKPIになります。
目的とKPIがずれていると、検証の結果が経営判断につながらず、施策も評価も曖昧になります。
目的を具体化するフレームとして「SMART（Specific, Measurable, Achievable, Relevant, Time-bound）」を利用すると、KPIとの紐づきが明確になります。
例として「3か月以内に休眠顧客の再購買率を 5%→7% に改善する」という目標であれば、実施期間、達成基準、妥当性が一目瞭然です。
「誰が」「いつ」「どの施策を受け取ったか」をイベントログとして残すことで、効果検証時に「対象外顧客」と「施策対象顧客」を分離できます。
逆に言うとこのログが取れない状態だと、正確な効果検証を行うことは難しくなります。
メールやアプリプッシュ、LINE など配信チャネルが多岐にわたる現場では、チャネル側の配信IDと社内の顧客IDを紐づけておくと後工程がスムーズです。
企画段階でどの手法を用いるのか方向性を決めておく必要があります。
というのも、後述する差分の差分法を用いるのであれば、施策対象群と非対象群の間に、もし施策を行わなくても同じような傾向で推移したはず、という並行トレンド仮定が前提になりますし、A/Bテストを行うのであれば施策対象群と非対象群のランダム割付が必須になります。
これらは施策実施前に確認しておかないと、施策実施後に偏りが発見された場合、正確な効果検証となりません。
施策を分析可能な形で記録するには、複数ソースからのデータ統合が前提になります。
「顧客ID」、「顧客マスタ」、「商品マスタ」、「施策ログ」、「購買データ」、「行動ログ」といったデータが揃っているか確認しましょう。
上記以外にもメールやアプリなどのチャネル情報やメール、プッシュ通知の開封、クリックログ、顧客ランクといったデータを収集しておくとより高度な分析が可能になります。
多くの現場で見落とされがちなのが、データクリーニングの工程です。統計的検証は「データが統計的な前提を満たしている」ことを前提にしています。
そのため外れ値や異常値を放置したまま平均値比較を行うと、わずかなノイズに引きずられて結論が歪む恐れがあります。
散布図や箱ひげ図を用いて可視化すると、外れ値や異常値を検知しやすくなります。
画像の例で言えばオレンジ色のプロットが外れ値になります。
ただし、外れ値が「ハイエンド顧客の購買」「バズ投稿による瞬間的流入」等、施策のインサイトにつながる場合もあるため、除外する前にビジネスインパクトを必ず確認しましょう。
データクリーニングは「機械的に除外する」のではなく、「なぜ生じたのか」を考えることで、課題発見や新規施策のヒントにもなります。
正確に施策が配信されているかを必ずチェックします。メルマガであれば送信リスト、アプリプッシュであれば送信タイミングや配信許諾設定、店頭施策なら配布店舗や期間など、実施条件をつき合わせて抜け漏れを防ぎます。
さらに「モニタリング指標」をリアルタイムで確認できる仕組みを構築すると、不測のトラッキングエラーや KPI逸脱に迅速に対処できます。
たとえば、施策期間中にクリック率が異常に低下した場合、メールテンプレートのリンク切れやレンダリング崩れが原因かもしれません。
施策用ダッシュボードにアラート閾値を設定し、異常検知したら発見できるようにすると、機会損失を最小限に抑えられます。
プロモーション対象と非対象の両グループを、施策前後で観測し「差分の差分」を取ることで外部要因を排除する手法です。
例として、新しい販促キャンペーンを1か月間特定の店舗にのみ行い、下の表のような結果になったとすると、施策対象群の施策前後の差分が50万円、非対象群の差分が20万円、差分の差分が30万円となります。
| 施策前 | 施策後 | 差分 | |
| 施策対象群 | 50万円 | 100万円 | 50万円 |
| 非対象群 | 50万円 | 70万円 | 20万円 |
| 効果 | - | - | 30万円 |
DiDは同時期の別グループとの比較を通じて、もし施策をしなかったら、という反実仮想を統計的に補う手法です。
特に現場レベルでランダムな実験が難しいオフライン施策において強力な手法となります。
ただし、前述の通り、施策対象群と非対象群の間に並行トレンド仮定（施策前の売上推移が平行であること）が必要です。
また、対象群と非対象群がもともと異なる性質（地方と都市部、店舗規模の違いなど）を持っている場合、結果にバイアスが混入する選定バイアスが発生しますので、その点にも注意が必要です。
A/Bテストは対象をランダムに2群（対照群と介入群）に分け、対照群には従来の施策を、介入群には新施策を試す手法です。
もしくは介入群にのみメルマガやダイレクトメールを送り、対照群には送らない、といったケースもあります。
施策の有無以外の条件を揃えることで、統計的に有意差があったと判断するための手法で、最もシンプルかつ強力な因果推論手法です。
効果検証といえばA/Bテストと思い浮かべる方も多いかもしれませんが、こちらもランダム割付が必須ということに注意が必要です。
顧客ID単位での均等割付がなされているか、割付後に属性分布に偏りがないかを必ず確認してください。
DiDやA/Bテストでは、介入群と対照群を理論上ランダムに分けても、実際には「若年層が片方に多い」「過去購買額が高い顧客が多い」などの偏りが起こりがちです。こうした偏りが残ると施策効果は過小・過大評価されます。
そこで回帰分析を用いて、施策効果だけでなく年齢・性別・購入履歴などを同時に投入すると、他要因を統制した“純粋な施策効果”を示します。さらに地域や曜日、季節要因もダミー化すれば外部環境の揺らぎまで吸収でき、検証結果の信頼度が大幅に向上します。
一例として、片方に若年層が、もう片方には高年齢層が偏ったケースを考えると、回帰モデルは下記の式で表されます。
Y = β₀ + β₁*T + β₂*A + ε
β₀は切片を、εは残差を表します。そしてβ₁が年齢をコントロールしたうえでの介入効果を示し、β₂が年齢の効果を示します。
Yは目的変数といい、購買の有無や売上といったものが該当します。
Tは介入の有無を1か0で示し、Aは年齢を示しています。
β₁の有意性（p値）と効果量を見ることで、年齢による偏りを取り除いたうえで介入の効果があるかどうかを判断できます。
回帰モデルはPythonやRなどで計算することが多く、その際にp値も算出されるため、具体的な算出方法は割愛しますが、一般的にｐ値は0.05以下だと統計的に有意と見ることが多いです。
計算の結果、β₁=0.08、p＝0.0012と出た場合、p値は0.05以下のため有意差あり、施策効果としては8%と読み解くことができます。
ここでは線形回帰について解説しましたが、ロジスティック回帰による二値応答モデルなども存在し、目的変数の分布特性に合わせたモデル選択が求められます。
回帰分析の実践はハードルが高いかもしれませんが、偏りの補正として強力なツールとなりますので、ご紹介させていただきました。
効果検証を通して、企画段階で設定したKPIが達成されているか確認を行います。
未達であれば要因を検討し、次施策での改善を目指しましょう。
達成されている場合は、どの要因が効いていたのかを深堀し、再現性を持たせることが重要です。
正しい効果検証を行うには、企画段階からしっかりと設計し、PDCAを回していくことが重要です。
ただし、施策立案から効果検証をすべて内製するのは簡単ではありません。
フュージョン株式会社はKPI設定から施策の立案、実施、効果検証に至るまでをワンストップで提供し、貴社の課題解決に向けて伴走支援します。
もし「施策が毎回行き当たりばったりで、効果が出ているのかわからない」「効果検証をやりたいが、どこから着手すべきかわからない」といったお悩みがございましたら、ぜひ下記より資料をダウンロードいただくか、お問い合わせフォームよりお気軽にご相談ください。
目的とKPIを SMART フレームで具体化し、「誰が」「何を」「いつまでに」測定するかを明確にします。例：3 か月で再購買率を 5→7 ％へ改善
DiDは施策前後×対象/非対象の「差分の差分」で外部要因を排除し、A/Bテストはランダム割付で純粋な因果効果を測定します。
企画段階で並行トレンド仮定やランダム割付の可否を検討し、現実的に担保できる前提条件で選択 します。
顧客ID・施策ログ・購買データ・行動ログなどを統合し、施策対象／非対象が判別できる状態にしておく必要があります。
施策対象と非対象が施策前に類似トレンドを持つという前提。満たさないとDiDの推定にバイアスが生じます。
顧客属性の分布を事前確認し偏りがあれば再割付、IDベース抽出で均等化し、割付後もバランスを検証します。
回帰分析で年齢・性別など共変量を投入し、サンプル不足でもバイアスを制御して効果を推定できるようにします。
散布図や箱ひげ図で可視化し、ビジネス的に意味があるか検討してから除外。
KPI達成可否の要因を深掘りし、再現性を持たせてPDCAを高速化。
KPI設計から検証までワンストップ支援するフュージョンへご相談ください。