【事例公開】50日間でCVRを２倍に改善したABテスト

2021年9月13日

今回紹介する検証テーマは、LPで使用する「CTA(申込・購入ボタン)の色」です。LPで最も重要な検証テーマがCTAであり、「購入ボタン」はCV直前の大切な導線です。自社サイトに最適な色は実際にテストで判断するのが一番ですが、ぜひ参考情報として読み取っていただけると幸いです。

【目次】
１．検証概要
 ２．バンディットアルゴリズムとは？
３．検証結果
４．考察
５．まとめ

１．検証概要

検証概要は、以下です。

● 検証テーマ
・LPで使用する購入ボタンの色

● 検証パターン(※下図参照)
① オレンジ色
② ピンク色
③ 光る水色
④ 水色(元々のボタン）

● 検証方法
・AIの一種『バンディットアルゴリズム』を使用。
※詳細は、２章で解説します。

● 検証企業
・年商100億円規模の化粧品メーカー

● 検証期間
・50日間

● 対象者
・LP訪問者全員(30～60代の女性がメイン)

● 集客媒体
・検索＆ディスプレイ系の運用型広告
・アフィリエイトサイト
※弊社支援の一環として実施している集客施策

２．バンディットアルゴリズムとは？

検証方法として、『バンディットアルゴリズム』を使用しました。
別のコラムでも少しだけ触れましたが、おさらいをすると、「AI・機械学習技術」の一種です。
※コラム：【クリック率up】ABテストのやり方～リスティング広告編～

複数案から「どれが最適か？」を選ぶ際、「自動で最適案を探してくれるアルゴリズム」です。

複数案の「スコアリング(点数づけ)」を自動で行い、「成果の悪い案」にも最低限の「セッション(機会)」を与えながら、「成績の良い案」の「セッション」を優先的に増やす、という特徴があります。
そのため、Webで利用する際は「平均CVRを高めながらに最適案を導き出せる」というメリットがあります。

今回の事例で言えば、

　▼ ４色のボタンから「勝率が高そうな」パターンを探しながら
　▼ データ・アルゴリズムに基づき「点数づけ」を行い
　▼ 点数の良し悪しに応じて「使用頻度」を調整し
　　　・成績Good　⇒　「使用頻度」増やす
　　　・成績Bad　　⇒　「使用頻度」減らす
　▼ 総合的な勝率(平均CVR)を高めながら「最適案」を導き出す

ということを自動でやってくれます。

検証概要でも記載しましたが、本コラムで紹介するABテストは、KPIを設定している弊社支援先のクライアント様で行わせていただきました。そのため、「悪化」だけは絶対に回避しなければいけない状況でした。

一方で、マーケティング活動において、様々な切り口でユーザーの傾向を掴んだり、新たな訴求を探したりすることも非常に重要です。

このような時、総合的な勝率を高めながら自動的にABテストをしてくれる『バンディットアルゴリズム』は便利です。

本題に戻ります。結果はどうだったのか？というのが次の章になります。

３．検証結果

最終結果からお見せします。(※下図参照)

▼ 累計：50日間(2019年7月3日～2019年8月21日)

元々実装していた「水色のボタン」が「CVRが最も高い」という結果になりました。(※赤色塗りつぶし箇所)
では、時系列ごとに詳細を確認しましょう。

▼ テスト開始1週間後(2019年7月3日～2019年7月10日)

「均等配信をしつつ、良いクリエイティブの表示を増やそう」としている意思を感じます。

「光る水色」のセッションが圧倒的に高く、この段階では「光る水色」が主力だと判定されていた可能性が高そうです。(※赤色塗りつぶし箇所)

最終的な勝者である「水色」の可能性を掴み切れていないため、「水色」のセッションが少ないです。
その結果、全体のCVRが2.35%にとどまり、テスト終了時の3.95%からかけ離れた数値になっています。(※黄色塗りつぶし箇所)

▼ テスト開始1か月弱(2019年7月3日～2019年7月31日)

最終的な勝者の「水色」が本気を出してきました。
セッションも増えてきていますね。(※赤色塗りつぶし箇所)

他のテストパターンも、CVがついてきたため、セッション数が伸びています。
ここにきて、ABテスト1週間後と比較すると、全体のCVRが2.35％から3.25％へと、約1％上昇しています。(※黄色塗りつぶし箇所)

▼ テスト開始1か月＋1週間(2019年7月3日～2019年8月9日)

「水色」のCVRが、5.31％という圧倒的な数値をたたき出します。(※赤色塗りつぶし箇所)

「光る水色」のCVRが伸びず、「ピンク色」が伸びています。(※黄色塗りつぶし箇所)

※補足)
このコラムを投稿するために数値を整理して気づいたのですが、
『カイ二乗検定』では、優位性が95％を超えています。

つまり、この時点で勝敗を判断して良かった、ということになります。
※コラム：そのABテスト意味ないかも！カイ二乗検定で「優位性」を判断する方法をわかりやすく解説

４．考察

【得られたもの：テスト期間中のCVR最大値】

① オレンジ色　　　　・・・ CVR2.54%(テスト開始1か月弱時点)
② ピンク色　　　　　・・・ CVR3.69%(テスト開始50日時点)
③ 光る水色　　　　　・・・ CVR3.29%（テスト開始1週間時点）
④ 水色(元々のボタン) ・・・ CVR5.31%（テスト開始1か月＋1週間時点）

検証によって、「購入ボタンの色」をABテストするだけでも、
CVRに最大２倍の差を生み出すことができました。(※①と④の比較)

【考察】
検証結果を時系列で追いかけてみると、
上述した通り『バンディットアルゴリズム』がABテストの点数づけを自動で行い、
総合的な勝率を高めてくれていることがよくわかります。

そして、元々、搭載していた④の「水色」が、最も勝率が高い結果になっています。

「購入ボタンの色」だけで、CVRがここまで変わる要因は何か？と聞かれますと、正直に言ってしまえば『正確にはわかりません』。
購入ボタンの色だけで「購買意欲」が変化することはまず無いと思うので、「視認性が上がりCVRが改善された」という解釈が正しいでしょう。

【補足】
当然ですが、今回の検証結果は、

　● 世の中の全ての企業・サイトに共通することではない(はず)
　● 市場での「ポジション」や「認知度」などによって成果は異なる
　● 背景には、様々な固有の条件が存在している

以上を忘れずに確認いただけると、自社で同様のケースが発生した際、冷静に判断できるかと思います。

対象ページのデザインやトンマナによって「視認性」が変わるので、「自社サイトに最適な色」はABテストで判断してみるのが一番ですね。