なぜ、施策の効果検証をマーケティングに活かせないのか？②

前回のコラムでは、施策の効果検証のためにセレクションバイアスを取り除くことの大切さについてお話ししました。
今回のコラムでは、その手法のひとつについて、具体例を交えながらご紹介します。

―――――――――――――――――――――――――――――――

1.某アパレルブランドのマーケティング部にて

―――――――――――――――――――――――――――――――

とあるアパレルブランドのマーケティング担当である山田さんは、顧客ロイヤリティ向上を目的として
優良顧客に限定したバースデー施策を企画、実施することにしました。

年間5万円以上購入した顧客を対象に、誕生月にプレゼントを準備しておき、来店時に店頭で渡します。DMやアプリ、メルマガなどを使って告知をしました。

施策を開始して半年、現場の担当者からの評判も上々で、お客様の喜びの声も多数集まり、
山田さん自身も手ごたえを感じていたところに、上司から声をかけられます。

「例のバースデー施策だけど、実際の所、費用対効果ってどうなっている？」

山田さんは焦りました。
プレゼントの受け取り率は確認できていますが、
一部の優良顧客を施策の対象外にすることはできなかったため、
「この施策によって売上が増えているか」という点での効果検証は無理だと諦めていたからです。

――――――――――――――――――――――

2.バイアスに対処した効果検証

――――――――――――――――――――――

このような検証が難しい施策での効果検証の設計について、まず考えなければいけないのは、「施策の目的」と「想定される効果」です。
今回は
・施策の目的：顧客ロイヤリティ向上
・想定される効果：LTV向上（LTV： Life Time Value　顧客生涯価値　）
でした。
実際は短期的な売上の刈り取り効果も想定すべきですが、今回は割愛します。

次に、LTV向上の効果を測定する指標を考えます。
今回は「プレゼントを受け取ってから半年間の売上の増減」を測定指標として設定することにします。

最後に、測定指標がどれだけ変動したかを検証する方法を考えます。

ですが、ここで問題に直面します。

"プレゼントを受け取った" 顧客の半年間の売上データは実際に取得できます。

でも、施策を実施しなかったときとの違いを見るためには、
同じ顧客へ同じタイミングで"告知しなかった"ときの売上と比較する必要があります。

図解すると下の図のようなイメージです。

（画像をクリックすると、大きな画像が表示されます）

バースデー施策を受け取った織田信長さんと、バースデー施策を受け取らなかった織田信長さんの、その後6ヵ月間の購入金額の差額は10,000円のため、施策の効果は10,000円と言えます。
しかし、同じ織田信長さんで施策有無を同時に実現することは不可能なため、
どうにかして"比較対象"となる顧客を探しだす必要があります。

そこで、今回はDIDという手法で、比較対象の設定と効果検証を行います。

――――――――――――――――――

3.比較対象の選定

――――――――――――――――――

DIDとは、Difference In Differenceの頭文字を取った言葉で、
時間による前後の変化に着目してバイアスを除去する手法です。

前述の通り、同じ顧客で施策有無の比較はできないため、
「他にも"比較対象" として扱えそうな顧客がいないか？」を考え、下記A～C案を設定しました。

A案：バースデー施策を実施していなかった前年における同じ顧客の売上との比較
B案：DMやメルマガなどの告知を拒否している優良顧客
C案：バースデー施策の開始以降、初回の誕生月をまだ迎えていない優良顧客

ここで、DIDで比較対象を選ぶ際に注意しなければいけない2つの基準をご紹介します。

基準①　検証対象と可能な限り似た購買をすると考えられる（平行トレンド仮定）
基準②　検証する施策以外は、検証対象と同じ施策を受け取る（共通ショック仮定）

基準①は、全く違う購買タイプの人と比較しても参考にならないため、似た購買行動の対象を選ぶ必要があります。
また、特にこの一年のようなコロナ禍では、購買傾向にも大きな影響があり、前年実績との比較は難しいため注意が必要です。

基準②は、効果を検証する施策以外の条件を揃える必要があります。
そうしないと、どの施策の効果による増減なのかがわからなくなってしまうためです。
多くの場合、検証する施策以外には施策を一切実施しないということは、
なかなかありませんので、重要な基準となります。

では、この２つの基準で、先程、候補に挙げた比較対象を評価してみましょう。

この結果から、今回は、
C案の「まだ誕生日を迎えていないためにバースデー施策を受け取っていない優良顧客」を
比較対象として設定できそうなことがわかりました。

――――――――――――――――――

４.DIDによる効果算出

――――――――――――――――――

では、実際に効果を算出してみます。
施策前後の半年間で検証対象顧客（織田信長さん）と比較対象顧客（武田信玄さん）の売上は、以下のような結果でした。

（画像をクリックすると、大きな画像が表示されます）

施策を受け取った織田信長さんの検証期間の売上は60,000円。
施策対象外の武田信玄さんは、53,000円。
その差額は7,000円ですが、これがそのまま施策の効果とは言えません。
なぜなら、施策実施前の元々の購入金額にも差があるためです。

そこで、施策の効果は、下記の数式で算出します。

（画像をクリックすると、大きな画像が表示されます）

施策の効果
＝（施策あり顧客の 事後 - 事前の数値）-（施策なし顧客の 事後 - 事前の数値）
＝　（\60,000- \51,000）-（\53,000- \50,000）
＝　\6,000

これが今回の施策の効果と言えます。

このように「差分どうしからさらに差分をとる」ことから、この手法はDifference In Differenceと呼ばれています。

山田さんは、この手法を用いて、施策を実施したグループの平均売上の差と、施策をまだ実施していないグループの平均売上の差を利用して、施策効果を上司に報告することができました。

（画像をクリックすると、大きな画像が表示されます）

なお、今回はDIDのイメージをつかんでいただくことを優先し、簡易的に説明しましたが、
厳密には、平均売上だけでなく、継続率の変化やそれに伴う客単価の減少、
それらが本当に統計的に有意かどうかなども考える必要があります。

―――――――――――――――――――――――

５.効果検証は施策前の設計が重要

―――――――――――――――――――――――

いかがでしたでしょうか。
今回の例では「施策を開始してから半年後に、事前に設計していなかった効果検証を行う」という、
状況を想定してみました。

前回のコラムでRCT（無作為化比較試験）について触れた際にも書きましたが、実際には、施策を実施しない顧客グループをつくることは、施策を実施する企業にとってはハードルが高いことが多いです。

しかし、効果検証の手法にはDID以外にも回帰分析や傾向スコアなどさまざまな種類があり、
施策の検討段階から効果検証方法を設計することができれば、
状況によってはRCTを行わなくても効果を算出することが可能です。

フュージョン株式会社では、こういった施策前の効果検証設計、実施後の効果検証だけでなく、
施策自体の設計・クリエイティブまでワンストップでサポートいたします。

ぜひ、お気軽にご相談ください。
▼お問い合わせフォーム