マーケティング施策は、実施だけでなく、施策実施後の効果検証が大切です。
施策の効果が出た場合は、再現性を持たせたうえで次の施策に反映させたいと考えるでしょう。
一方で、思ったような効果が出なかった場合は、施策の結果を踏まえて改善策を検討する必要があります。
いずれの場合でも、実施した施策の効果検証が行われなければ、意思決定ができずマーケティング活動でのPDCAサイクルがうまくまわりません。
▼参考コラム「結果を活かせる！マーケティングの効果検証の基本」
今回のコラムでは、マーケティング施策の効果検証方法に関する具体例を交えながらご紹介します。
某アパレルブランドのマーケティング部施策事例
とあるアパレルブランドのマーケティング担当である山田さんは、顧客ロイヤルティ向上を目的として優良顧客限定のバースデー施策を企画、実施することにしました。
年間5万円以上購入した顧客を対象に、誕生月にプレゼントを準備しておき、来店時に店頭で渡すという企画です。DMやアプリ、メルマガなどを使って告知をしました。
施策を開始して半年、現場の担当者からの評判も上々で、お客様の喜びの声も多数集まり、山田さん自身も手ごたえを感じていたところに上司から声をかけられます。
「例のバースデー施策だけど、実際のところ、費用対効果ってどうなっている？」
山田さんは焦りました。
プレゼントの受け取り率は確認できていますが、
一部の優良顧客を施策の対象外にすることはできなかったため、
「この施策によって売上が増えているか」という点での効果検証は無理だと諦めていたからです。
バイアスに対処した効果検証
上記の例のような検証が難しい施策での効果検証の設計について、まず考えなければいけないのは、「施策の目的」と「想定される効果」です。
今回は
・施策の目的：顧客ロイヤルティ向上
・想定される効果：LTV向上（LTV： Life Time Value 顧客生涯価値 ）
でした。
▼参考コラム「LTVとは？CRMとの関係や計算方法」
https://www.fusion.co.jp/column/2015/11/ltv/
今回は LTV向上の効果を測定する指標について、「プレゼントを受け取ってから半年間の売上の増減」を測定指標として設定することにします。
そして測定指標がどれだけ変動したかを検証する方法を考えるところ。ですが、ここで問題に直面します。
"プレゼントを受け取った" 顧客の半年間の売上データは実際に取得できます。
しかし、施策を実施しなかったときとの違いを見るためには、同じ顧客へ同じタイミングで"告知しなかった"ときの売上と比較する必要があります。
図解すると下記のようなイメージです。
(クリックで拡大できます)
バースデーキャンペーンを受け取った織田信長さんと、バースデーキャンペーンを受け取らなかった織田信長さんの、その後6ヵ月間の購入金額の差額は10,000円のため、施策の効果は10,000円と言えます。
しかし、同じ織田信長さんでキャンペーン有無を同時に実現することは不可能なため、どうにかして"比較対象"となる顧客を探し出す必要があります。
そこで、今回はDIDという手法で、比較対象の設定と効果検証を行います。
DIDによる比較対象の選定
DIDとは、「Difference In Difference」の頭文字を取った言葉で、
時間による前後の変化に着目してバイアスを除去する手法です。
前述の通り、同じ顧客で施策有無の比較はできないため、「他にも"比較対象" として扱えそうな顧客がいないか？」を考え、下記A～C案を設定しました。
A案：バースデー施策を実施していなかった前年における同じ顧客の売上との比較
B案：DMやメルマガなどの告知を拒否している優良顧客
C案：バースデー施策の開始以降、初回の誕生月をまだ迎えていない優良顧客
ここで、DIDで比較対象を選ぶ際に注意しなければいけない2つの基準をご紹介します。
基準① 検証対象と可能な限り似た購買をすると考えられる（平行トレンド仮定）
基準② 検証する施策以外は、検証対象と同じ施策を受け取る（共通ショック仮定）
基準①では、全く違う購買タイプの人と比較しても参考にならないため、似た購買行動の対象を選ぶ必要があります。
この際、コロナウイルス発生のような、購買傾向にも大きな影響をもたらす要因がある場合は、前年実績との比較は難しいため注意が必要です。
基準②では、効果を検証する施策以外の条件を揃える必要があります。
そうしないと、どの施策の効果による増減なのかがわからなくなってしまうためです。
多くの場合、検証する施策以外には施策を一切実施しないということはなかなかありませんので、重要な基準となります。
では、この２つの基準で、先程、候補に挙げた比較対象を評価してみましょう。
この結果から、今回はC案の「まだ誕生日を迎えていないためにバースデー施策を受け取っていない優良顧客」を比較対象として設定できそうなことがわかりました。
DIDによる効果算出
では、実際に効果を算出してみます。
施策前後の半年間で検証対象顧客（織田信長さん）と比較対象顧客（武田信玄さん）の売上は、以下のような結果でした。
(クリックで拡大できます)
施策を受け取った織田信長さんの検証期間の売上は60,000円。
施策対象外の武田信玄さんは、53,000円。
その差額は7,000円ですが、これがそのまま施策の効果とは言えません。
なぜなら、施策実施前の元々の購入金額にも差があるためです。
そこで、施策の効果は、下記の数式で算出します。
(クリックで拡大できます)
施策の効果
＝（施策あり顧客の 事後 - 事前の数値）-（施策なし顧客の 事後 - 事前の数値）
＝ （\60,000- \51,000）-（\53,000- \50,000）
＝ \6,000
これが今回の施策の効果と言えます。
このように「差分同士からさらに差分をとる」ことから、この手法はDID（Difference In Difference）と呼ばれています。
山田さんは、この手法を用いて、施策を実施したグループの平均売上の差と、施策をまだ実施していないグループの平均売上の差を利用して、施策効果を上司に報告することができました。
(クリックで拡大できます)
なお、今回はDIDのイメージをつかんでいただくことを優先し、簡易的に説明しましたが、厳密には平均売上だけでなく、継続率の変化やそれに伴う客単価の減少、それらが本当に統計的に有意かどうかなども考える必要があります。
効果検証は施策前の設計が重要
いかがでしたでしょうか。
今回の例では「施策を開始してから半年後に、事前に設計していなかった効果検証を行う」という、状況を想定してみました。
実際には、施策を実施しない顧客グループをつくることは、施策を実施する企業にとってはハードルが高いことが多いです。
しかし、効果検証の手法にはDID以外にも回帰分析や傾向スコアなどさまざまな種類があり、施策の検討段階から効果検証方法を設計することができれば、状況によってはRCTを行わなくても効果を算出することが可能です。
フュージョン株式会社では、このような施策前の効果検証設計、実施後の効果検証だけでなく、施策自体の設計・クリエイティブまでワンストップでサポートいたします。
ぜひ、お気軽にご相談ください。
