A/Bテストの活用は、より効果的なマーケティング施策を開発するための長年の代表的な存在でした。コントロールグループを使用することで、マーケターはメッセージ、デザイン、CTAの配置など、与えられた変数がキャンペーン全体のパフォーマンスに与える影響を測定し、キャンペーンを最適化、カスタマーエンゲージメント、コンバージョン、収益の増加を促進する洞察を生み出します。
テクノロジーの急速な進化に合わせて、先進的な企業はより実践的で有効なマーケティングテストの方法を模索し、予測モデリングに力を入れています。その中で、Brazeは従来のA/Bテストや多変量テストよりもさらに進化した Braze Personalized Variant を導入しました。
Braze Personalized Variant とは?
一般的なA/Bテストや多変量テストは、集計結果で最も効果がよかったパターン(バリアント)を一つ特定するアプローチを採用しています。一方で、Braze Personalized Variant は、最も効果の高いキャンペーンの選択にパーソナライズされたアプローチを採用し、より高度なメッセージの最適化を実施することができます。
Braze Personalized Variantの機能:
1: それぞれのユーザーに合わせた最適なキャンペーンバージョン(バリアント)を特定。
2: 最も反応しやすいであろうバージョンのコンテンツをそれぞれのユーザーに送信。
3: 択一的に勝ちパターンが決定される従来のA/Bテストや多変量テストに比べ、 それぞれのユーザーにパーソナライズされた内容を送り、顧客エンゲージメントやコンバージョンの可能性を引き上げる。
4: それぞれのユーザーに最適化されたコンテンツが自動で割り当て、送信されることにより、従来のA/Bテストや多変量テストよりも、サービスやアプリ全体のユーザーエンゲージメントとコンバージョンを増加させる。
Braze Personalized Variant はどのように機能するのか?
Brazeを用いたA/Bテストや多変量テストは、テスト結果を確認するためのキャンペーン(一つ以上のテストバリアントとコントロールキャンペーンを含む)を、決められたテスト期間中にユーザーセグメントの一部に配信する方法をとります。理想的には、このテスト期間は統計的に意味のある結果を確保するために、少なくとも24時間続けます。Brazeプラットフォーム内では、最も効果的だったバージョンを判定するための指標として、ユニークなオープン数やクリック数、または主要なコンバージョンイベントなど、効果を最大化したい指標を選択することができます。
テスト期間が終了すると、最も成果を上げたバージョン(バリアント)が特定されます。Brazeプラットフォームでは、95%以上の信頼度で他のすべてのバージョンを上回った(つまり、期待する結果をより多く導いた)効果的なバリアントが特定され、このバージョンは、そのセグメントの残りの受信者に送信されます実際の設定手順は以下のようなイメージです。
ステップ1:セグメントを選択する。
ステップ2:セグメントのX%に「コントロール」キャンペーンを送り、セグメントの追加パーセンテージにA、Bなどのバリアントを送る。
ステップ3:最も効果的なセグメントを一つ絞り残りのオーディエンスに送る。
Braze Personalized Variant を使うと、従来通りに最も効果的なセグメントを一つ絞って残りの対象者に全て送る代わりに、それぞれのユーザーが関心を持つ可能性が高いであろうバージョン(バリアント)を送ります。
Braze で利用できる Personalized Variant とその結果の分析により、マーケターは、このPersonalized Variantを利用した メッセージの送信がキャンペーンのパフォーマンスに与えるプラスの影響を確認できます。下記がその画面のスクリーンショットです。
予想される向上率:マーケターが選択した最適化指標が、Personalized Variant を使用した場合に、(勝利したバリアントを択一的に選択しなかったことで)、予想される向上率を示します。
全体的な結果: Personalized Variant を送信した結果として、選択した最適化指標のパフォーマンスが示されます。
予測される結果:勝利したバリアントを択一的に送信した場合の、選択した最適化指標の結果がどうなっていたかを推定します。
Brazeはどのようにして各顧客に最適なバリアントを決定しているか?
キャンペーンの初期テスト期間中、Brazeはユーザーの特性とメッセージの好みとの関連性を調べることで、各ユーザーの Personalized Variant を決定します。Brazeは、テストに使用される各バリアントに対する顧客の反応(エンゲージメント、コンバージョンなど)を評価し、残りのユーザーのうち、同様の行動を示す可能性が最も高いユーザーを特定し、目的のアクションにつながる可能性が最も高いバリアントを送信します。
Personalized Variant は、以下の特性の組み合わせに基づいて決定されます:
直近の活動履歴: 顧客の最終セッション日
頻度: セッションの頻度
継続期間: キャンペーン受信者が顧客である期間
直近の活動履歴、頻度、および継続期間のパターンは、顧客の Personalized Variant を形成するのに役立ちます。
テスト期間中にPersonalized Variantが見つからなかった場合は、代わりに最も効果的なバリアントを送信するか、単に実験を終了するかを選べます。
Braze Personalized Variantの主な利点
従来のA/Bテストや多変量テスト手法の代わりにBraze Personalized Variantを使用することで、マーケターは以下のことが可能になります:
1. 1対1レベルでより共感を得やすい、効果的なマーケティング施策を見つけ出す
2. 全ての顧客に対するパーソナライゼーションの取り組みを改善する
3. コンバージョンや収益など、重要なカスタマーエンゲージメントのKPIを向上させる
カスタマージャーニーを最大限に活用する方法についてもっと知りたい方は、オーケストレーションガイド(英語版のみ)をご覧ください。