メルマガやダイレクトメール（DM）などを用いた顧客マーケティング施策を実行した際、その結果をどのように次の施策に活かしていますか？
クライアントから、「プロモーションごとに効果検証をしているが、改善につながっていかない」というお話しを聞くことがあります。
お話しを詳しく伺うと、効果検証の結果として「レスポンス率・売上・客単価・開封率」など実績の数字だけを見て終わってしまっている」ことが少なくありません。
フュージョンでは、効果検証の目的は、
～結果に結びついた要因を明らかにし、「再現性」を持たせること～
と考え、マーケティングのPDCAサイクルに活かすことを重視しています。
顧客マーケティング施策を実施した後、狙った目的が達成できたかどうかを測ることが効果検証です。
施策の結果に再現性がない場合、同じ効果を期待して施策を行っても、求める結果が出ない事態が起こりえるため、うまくPDCAサイクルが回らなくなってしまうことがあります。
今回のコラムでは、再現性を持たせ次に活かす効果検証をするための基本をお伝えするとともに、施策の効果と勘違いしがちな「セレクションバイアス」について、ダイレクトメール（DM）施策を例にして紹介します。
1. マーケティング施策結果の基礎指標
まずは、マーケティング施策結果を見るうえで基本となる指標をご紹介します。
マーケティングの費用対効果を測定する基本的な指標としては、以下のようなものがあります。
- CPR（Cost per Response）：レスポンス1件あたりのコスト
- CPO（Cost per Order）：獲得1件あたりのコスト
- ROI（Return on Investment）：費用対効果
これらの指標を計算することで、施策の効果を確認することができます。
例えば、プロモーション施策としてダイレクトメール（DM）を実施した結果、以下のような売上額・総経費だとしたら、ROIは300％になります。
【例1】
売上額...100万円
総経費...25万円
ROI = (100万 - 25万) ÷ 25万 × 100 ＝ 300%
ROIが大きくプラスになっていますので、施策自体の「投資に対する売上」は良い結果といえます。
さて、ROIが良かったことは確認できましたが、
DMの効果検証として本来確認したい項目は、「DM送付による売上への効果」ではないでしょうか？
「DM送付による売上への効果」を検証する場合は、
DMを送付した人としていない人とで売上に差が出たか？をみる必要があります。
次は、比較対象について深堀りしてみましょう。
2.施策効果と勘違いしがちな「セレクションバイアス」
ここでは、DMを送付した人としていない人に分けて、効果検証をする方法を深堀りしていきます。
前述の【例1】のターゲットが以下の場合、グループ①と②の売上の差は、「DM送付による売上への効果」と言えるでしょうか？
【例1のターゲット】
・DM送付ターゲット：過去1年間に来店した人（グループ①）
・効果を比較する対象：過去1年間に来店していない人（グループ②）
※DM送付コストを踏まえて、より反応してくれそうなグループ①に絞って送付
ここで、グループ①は直近1年以内に来店されているので、グループ②に比べて総じて購買意欲が高く、企業のマインドシェアが高い集団と言えます。そのため、グループ①は施策を打たなかった場合でも、グループ②より、そもそもの売上が大きい可能性が高いと考えられます。
グループ①と②は、本来検証したい「DM送付有無」以外の条件がそろっていないため、両者の比較対象では「DM送付による売上の効果」は正確に測れないことになります。
このように、比較している集団の潜在的な傾向が違うことによって発生する影響のことを、「セレクションバイアス」と言います。
マーケティング施策の効果は、「セレクションバイアス」を除いた売上で評価します。
【例1のセレクションバイアスを考慮したROI】
売上額...100万円
→セレクションバイアス...75万円 （※セレクションバイアスの算出方法は割愛し、わかりやすくしています）
→施策の効果による売上額...25万円
総経費...25万円
ROI = (25万 - 25万) ÷ 25万 × 100 ＝ 0%
このように、本来の施策の効果で見ると、DMを送るコストのほうが大きい場合もあり、施策の効果を正しく把握できないばかりか、その後のマーケティングのPDCAで正しい意思決定ができない可能性があるので注意が必要です。
3. 再現性を高める効果検証をするために
再現性のある効果検証をするためには、施策対象者をランダムに選択し、得られたデータを分析することが大切です。
施策の有無をランダムに選択することで、平均的には同一な集団であることが期待されます。
このような方法をRCT（無作為化比較試験 Randomized Controlled Trial）といいます。
RCTを行うためには、施策前に対象者の設計をする必要があります。さらに、RCTにはコストがかかるというデメリットがあり、RCTができない場合にはDID（Difference In Difference）などで代替を検討することも少なくありません。
（DIDの具体的な事例については、別記事「事例で解説！マーケティング施策の効果検証方法」でご紹介しています。）
また、RCTに加え、施策後の検証フェーズでは施策結果に対して有意差検定を行う必要があります。
有意差検定とは、結果から得られた2つの差が統計的に信頼できるものであるかを判定するものです。
これを用いると、施策有無による効果の差が偶然の差なのか、統計的に優位な差なのかを見極めることが可能になります。
これらの手法では、期待する効果によっては相当数のサンプルサイズ（施策を実施する母数）が必要になるといった問題などもあり、施策を実施する際に考慮することは多いですが、再現性を持たせることで、次回以降の施策効果が期待できます。
私たちはクライアントの効果検証の目的に応じて手法を選択していますが、いずれの手法も、施策の設計段階からどんな検証をするかを踏まえて検討することが不可欠です。
▼参考コラム
「マーケティングにおけるデータ分析で大切な３つの基礎ポイント」
「CRM領域のマーケティング課題解決とは」
施策設計段階での考慮が重要
効果検証の目的は、～結果に結びついた要因を明らかにし、「再現性」を持たせること～であるとお話ししました。
「施策による効果」を正しく検証し、効果が出た場合は同じ施策を継続する、もしくは、別のターゲットに展開する、といったように、一歩ずつ実績を積み上げ、継続的にマーケティングのPDCAサイクルを回していきましょう。
施策の再現性を高めるには、施策の設計段階で効果検証を考慮することが最も重要になります。
フュージョン株式会社では、顧客マーケティング施策の設計・効果検証だけでなくクリエイティブ設計~実行までをワンストップでサポートいたします。お気軽にご相談ください。
▼顧客データ分析サービス「CRM ANALYZER」
https://www.fusion.co.jp/crm
▼お問い合わせはこちら
https://www.fusion.co.jp/contact/
