いま実施しているマーケティング施策、「A/Bテスト」を活用していますか？
A/Bテストとは、バナー・LP・メールなどオンライン施策では実施効果を上げていくうえで欠かせない検証手法です。
一方で、紙のDMなどオフラインでのアナログ施策では、しっかりA/Bテストを行われていることはなかなかありません。
「デジタル広告では当然やっているけど、紙の施策だと検証の仕方が分からない…」
1通のコストが高く、設計が複雑なことなどから、デジタル領域よりも格段に検証が難しくなるため、そんな声をよく聞きます。
もちろん紙の施策でもA/Bテストを行った方がより効率のよい施策実施が見込めるため、今後、オンライン・オフラインともに上手に活用していくことが急務と考えると、オフライン施策の効果的な設計はとても重要なものとなるはずです。
今回は、そんなA/Bテストの基本を押さえたうえで、「オフライン施策でのA/Bテストの実践方法」やフュージョンでの実例、さらにオンライン・オフラインのチャネルを連携させる効率的なモデルプランを提示します。
「デジタル広告の方が費用対効果が良い」と思って取り組んでいる方も、「戦略的なアナログ施策」に挑戦してみませんか。
| 【目次】 A/Bテストとは？ 基本の手順 オンライン・オフライン、それぞれのA/Bテストの特性と違い オフライン施策（DM）のA/Bテストのモデルプラン アイデアプラン（オンライン×オフライン）：オンラインで先にテスト→DMで効率よく フュージョンでのDMテスト例 まとめ：オンラインとオフラインをつなぐ“現実的な”最適化 オフライン施策を含めた戦略的な顧客コミュニケーション設計はフュージョンにご相談ください |
Aパターン、Bパターンという2つ以上の異なるビジュアルやコンテンツを同時に配信し、どちらがより高い成果（クリック率やコンバージョン率など）を出すかを検証するテスト手法です。
その結果に基づいてより効果的なパターンを見つけ、施策の最適化を図ります。
明確に仮説を立てて検証することで、1つの変数（または最小限の変数群）を変更した複数パターンを同条件で配信・比較し、事前定義のKPIで優劣を判定することができます。
「オファーを明確化するとレスポンス率が上がる」、「販売実績を前面に出すとCVRが改善する」など、どのようなテーマを検証するのかを決めます。
効果要因の特定がしやすいよう、一度に複数要素を変えずになるべく検証したい箇所をひとつに絞ります。1テストで1つのみの変数がおすすめです。
送付対象のセグメント、タイミング、配信量など、比較条件は可能な限り同一に設定することで、より正しい検証を行います。
オンラインのコンテンツではCTR／CVR／CPAなど、DM施策では開封率、レスポンス率などKPIを決め、KPIがしっかり測定できるように設定します。
可能なら、途中指標（例：開封・閲読）と最終指標（例：申込・購入）の両方を設計することで、どこでつまずいたかが分かりやすくなります。
１回のみで結論を決めず、勝ちパターンをベースに次のテストへ進めます。
小さな差分でも長期で見ると大きな成果につながります。
オンライン領域のA/Bテストは、すぐに多くのターゲットにテストできるというスピード感とスケール感、コストの低さ、柔軟性、条件を均一にしやすいことが強みです。
代表的なテスト項目は、バナーや動画のクリエイティブ、広告文、LPのファーストビュー、CTA文言・配置、フォーム項目、メール件名・差出人名・本文構成など。
紙とは違い、少し修正したいところがあればすぐに反映でき、高速でPDCAを回せることに適しています。
DM、販促物などのオフライン領域は、物理的体験を介して、認知から行動を促すメディアです。
オンラインとは異なり、制作にはコストも時間もかかり、関係者も多く、手元に届くまでの条件も合わせにくく、また計測方法も難しくなります。
一方で、オンラインよりも表現の幅が広く、直接の手触りで五感に訴えることができるのがオフライン施策。企業やブランド、商品・サービスの良さを伝えることや、ロイヤルティを高めるという場ではオフライン施策の成功率を高めることは避けては通れません。
| オンライン（デジタル） | オフライン（アナログ） | |
| スピード／ スケール |
すぐに、大量に配信でき、 短期に有意差が検出できる |
制作・印刷・発送でリードタイムが長く、 スケールにも制約がある |
| コスト構造 | コストを抑えて、 パターン追加が容易 |
パターン追加ごとに制作・印刷・物流費が増し、単価が高い |
| ブランド表現、 体験の質 |
WEB中心のため、 スクリーンを通した 視覚のみでの伝え方に限られる |
表現の幅が広く、直感的に伝えやすい 物理的体験が可能なことで、 ブランドを演出しやすい |
| テストに 最適な用途 |
細部の表現、UI改善 （バナー、LP、CTA、メール件名など） |
コンセプト、手触りなどの物理的な体験 （封筒、挨拶文、オファー、紙質、同梱物など） |
オフラインの特性を踏まえて、テストの際は下記に気を付けましょう。
制作・印刷・封入・発送の工程があり、テスト一回あたりの固定費と時間が大きくなります。
そのため、パターン数は最小限に絞る発想が重要です。
配布部数が限られる場合、統計的有意差の判定が難しくなるため、大きめの効果が見込める変数から先に実施していきましょう。
オフライン施策は効果計測が難しいのが特徴です。
まずは、二次元コードへのアクセス、パーソナライズドURLでの計測、専用電話番号、クーポンコードなどで流入経路を識別を検討するとよいでしょう。
それらはストーリー、コピー、CTA、印刷・印字仕様などすべてに関わるため、企画時に決めておく必要があります。
開封率を測る方法が特に難しく、架電してDMを開封したか尋ねるなど、事前に算定条件を決めておくとスムーズです。
A/Bテストを行う場合、行いやすいのは「クリエイティブテスト」です。
商品のメイン画像やメインコピーなどを２種試すことが行いやすいでしょう。
一方で、クリエイティブテストを行うときはあくまで「施策のコンセプトは同じで、クリエイティブでどう表現するか」の違いということを意識することが大事です。
コンセプトが揺らいでいる場合は、まずはコンセプトテストを優先することがお勧めです。
コンセプトテスト：訴求の方向性（価値訴求／価格訴求／期間限定・希少性訴求など）やパッケージ全体（外封筒・リーフレット構成・トーン＆マナー）を変える。方向性の選定が目的。
クリエイティブテスト：コンセプトを適切に表現するうえでの細かいクリエイティブ。挨拶文、見出し、CTA、オファーの表現、紙質・加工、同梱物など細部の最適化。
オフライン施策は要素数が多く相互作用も発生します。一度に複数要素を変えず、なるべく明確な変数で段階的にテストを積み重ねる運用が合理的です。
オフライン施策では難しいA/Bテスト。
紙のDMでA/Bテストを成功せるためのモデル例をご紹介します。
例：DM記載の二次元コードからのLP遷移率 10％、レスポンス率（専用サイトでの購入） 2％
途中指標と最終指標を接続する計測導線（二次元コード、電話番号など）を準備しましょう。
＼ DMでの効果測定用データを集める手法例をご紹介 ／
ゴールに到達させるための仮説を設定し、それに基づいて訴求するコンセプトを決めます。
コンセプトが決まったら、クリエイティブテストで試してみたいテストパターンを選定します。
コストと判定精度を考え、パターン数はなるべく2つに絞ります。
セグメント（属性・購買履歴・ステージ）を一定に保つか、事前に均等割り付けを実施しましょう。
配布部数は、少なすぎると根拠として浅くなるため、最低限の判定に必要な母数を確保することも重要です。
各パターンにStep1で定めた指標が計測できるように計測子（二次元コードなど）を付与します。
コールセンター連携（専用番号）や郵送返信（専用同梱物）の場合も、パターン別に集計可能な設計にしましょう。
事前に定めた指標に基づき、勝ちパターンを決定します。
勝ちパターンをベースラインとして、次サイクルでは別の単一要素を変更し、連続的に改善していきます。
以上のやり方や注意点を守れば、オフライン施策のみでもA/Bテストは充分可能ですが、オンラインの良さも取り入れて掛け合わせることで、より効率的なA/Bテストも可能です。
例えば、クリエイティブ／コピー／オファーなどの「部分要素」はまずデジタル広告でテストし、訴求の勝ちパターンが掴めたら満を持してDMとして打つというのも戦略的ではないでしょうか。
DMは１通をターゲットの手元に直接届けるため、響きやすいことが分かっているメインコピーであれば、より効果的な訴求をすることが可能です。
広く多く打つのが得意なデジタル広告で響く訴求を絞っていき、狭く強く訴求できるアナログDMでレスポンスを取るのは、2つの利点を上手く活かした合理的で賢い設計と言えます。
フュージョンで実施したDMのA/Bテストでは、主に下記のような勝ちパターンが生まれました。
※画像はイメージです。
企業・ブランドの商品やサービス、DMのデザインやコンセプト、ターゲット顧客のステージによっても結果は異なってきますが、フュージョンではこのような多くの知見を踏まえて、戦略的なDM企画設計を行っています。
オフライン施策であるDMは、ターゲット選びやクリエイティブが刺さるものであればあるほど、手に取ったときの心を動かす力が大きく、その豊かな表現性には多くの可能性があります。
その分、リサーチやターゲット分析がとても大切なツールです。
もし、「デジタル広告は安いし、なんとなく毎年同じようなキャンペーンを回している」という方は、A/Bテストをしつつ、顧客にどんなコミュニケーションが適切なのか、改めて探ってみませんか？
それが見えてきたとき、オンライン・オフラインを上手く活用した戦略的なマーケティングを行うことができるのではないでしょうか。
「オンライン・オフライン両方のチャネルを活用して、効率のよい顧客コミュニケーション設計を検討しているものの、なかなかうまく進まない、進め方がわからない」といった悩みをお持ちの担当者様はぜひフュージョン株式会社にご相談ください。
また、以下にてコミュニケーション設計書のテンプレートをご用意していますので、ぜひご活用ください。
＼ 顧客を理解してコミュニケーションを整理しましょう ／