【成功事例】LPのCVRを「2.19％改善」したABテストの舞台裏

今回紹介する検証テーマは、LPの「ファーストビュー直下」で使用するパーツです。LPで重要な検証テーマの１つがファーストビューです。そして、「ファーストビューのすぐ下のエリア」もCVRへ一定の影響を与える重要な検証テーマです。御社ビジネスに置き換えて、ヒントにして頂けると幸いです。

【目次】
１．検証概要
２．検証結果
３．考察
４．まとめ

総セッション数が2,500回を超え、傾向が安定してきました。

他パーツへの機会が増えてきたため、平均CVRは下降しています。(3.22%⇒2.95%)
「エンブレム」が目立って強い事が分かります。(※赤色)
「実績」が徐々に追い上げるものの、１強他弱の傾向が明確になってきました。(※青色)

　

▼ テスト開始から6週間後(某年9月10日～10月20日)

「エンブレム」の1強が明らかです。
他のテストパターンを見てみると、セッション数が増えていない様子が散見されます。
どうやら、アルゴリズム的にも、決着の時が訪れたようです。

　

【得られたもの：テスト期間中のCVR最大値】

① 雑誌掲載(オリジナル)　・・・　CVR2.84%(テスト開始6週間後)
② SNS投稿・レビューＡ　・・・　CVR0.98%(テスト開始4週間後)
③ SNS投稿・レビューＢ　・・・　CVR2.60%（テスト開始1週間後）
④ エンブレム　　　　　・・・　 CVR5.03%（テスト開始2週間後）
⑤ 実績　　　　　　　　・・・ 　CVR2.52%（テスト開始6週間後）

元々実装していた「雑誌掲載」と検証用に追加した「エンブレム」を比較すると、CVRを最大「2.19%改善」できました。(※①と④)

　

【考察】

SNS利用者が多い中、「SNS投稿・レビュー」が弱い理由は何か？という疑問が生じますが、仮説レベルで言える事は、以下です。

　●「SNSで話題！」というパーツそのものが、CVR低下を引き起こしているとは考えにくい。
⇒　SNS投稿者と訪問者の「年齢ギャップ」があり、信頼を高めるパーツにはならなかったのでは？
⇒　訪問者が「実際のSNS投稿・レビュー」を確認するために、LPを離脱してしまったのでは？

「エンブレム」が圧倒的な成果を出した。
という事実は確認できますが、一方で、「消費者の行動は複雑」で「真実は捉えどころがない」という事も痛感する検証結果でした。

　

【補足：セッション数の偏りについて】

● なぜ、セッション数に偏りがあるのか？
AIの一種である『バンディットアルゴリズム』を使用した事が原因です。
同アルゴリズムは、各案のスコアリングを行い、平均CVRを下げずに最適な答えを自動的に導き出すという特徴があります。
そのため、表示率に「偏り」が発生しました。

　

● セッション数が多い(偏っている)から、CVRが高いのでは？
『バンディットアルゴリズム』では、CVRが高いとセッションが増える、というのが正しい解釈です。

今回の検証で言えば、
・アルゴリズムが「④ エンブレム」を優秀と判断。
・結果、④のセッション数(表示頻度)が大半を占めた。という順番になります。

なお、成績の悪いパターンにも「最低限の機会(セッション)」を与える事が可能なため、テスト自体には公平性があると言えます。

今回のような偏りは、Googleなどの「自動最適化」を利用した際に起こる現象と同じ理屈です。
「なぜ」を紐解けないのが「AI・機械学習」の課題ですが、裏側で起こっている事を思考し適切に判断するのが運用者の使命です。