事業部門から正確な予測を求められ、圧倒された経験はありませんか？ご安心ください！本日は、データ基盤がなくても、科学的なテスト手法を用いてビジネスの成長を確実なものにする方法をご紹介します。導入から事後分析まで、テストプロセス全体を4つの段階に分けて解説します。これにより、盲目的な予測を避け、データそのものを物語り、確固たる証拠に基づいたビジネス成長を実現できます。

このビジネスでは、AIとビッグデータを用いて正確な予測を行うことが求められます。もし予測が一定額外れたら、その額が給与から差し引かれてしまいます。怖くありませんか？残念ながら、そのようなシナリオは数多く存在します。さて、早速本題に入りましょう。

問題シナリオ：あるインターネット金融会社は、広告を通じて投資顧客を獲得する計画を立てています。最近、プライベートドメイントラフィックの人気について耳にしましたが、WeChat公式アカウントではまだ試したことがありませんでした。そこで、WeChat公式アカウントへの広告出稿を計画し、データ分析部門にビッグデータと人工知能を駆使して広告効果と1回のキャンペーンで得られる収益を正確に予測するよう依頼しました。あなたはこの会社のデータアナリストだと仮定します…

ちょっと考えてみてください

まず、この武器をまだ持っていることを忘れないでください。

正解：予測しろ！業務部門はデータの原則を理解しておらず、何かが分からない時に「ビッグデータと人工知能」という言葉を頭の中でちらつかせるだけです。しかし、データを扱う人々は極めて冷静な判断力が必要です。先ほどのシナリオでは、業務部門は一度も予測を実行したことがなく、データさえ持っていないのに、予測する意味は何でしょうか？ この時点では、まずテストを行い、データを収集し、十分なデータが蓄積されてから予測について議論するべきです。

テストは、データ分析を通じて問題を解決するためのツールとして、常に重要な役割を果たしてきました。「本の表紙で判断してはいけない」という諺があるように、テストとは馬に試練を与えるプロセスであり、結果はすぐに明らかになります。これは、新しいチャネル、新しい製品、新しいチームといった革新的な状況において特に当てはまります。古いデータではイノベーションを完全に予測することはできないため、テストはより一層重要になります。

しかし、近年は独自アプリをベースにした A/B テストが注目されており、より一般的なテスト設計方法を見落としている初心者が多くいます。そこで、今日はこの点について詳しく説明します。

II. テスト設計の基本要件

多くの新人は、テストとはビジネスチームに数回実行させて、あとはデータ収集を待つだけだと誤解しています。このような怠惰なアプローチは、後々、自身に終わりのない問題を引き起こすだけです。

まず、テストにはビジネスコストがかかります。

例えば、このシナリオでは、キャンペーンの目的は新規ユーザーと新規投資の獲得です。支出は効果的でなければならず、そうでなければ上司から批判されることは間違いありません。

次に関連する疑問が生じます。

• いくらかかりますか？
• どれくらいの効果が必要ですか?
• 結果を確認するには何回のテストが必要ですか?
• 複数回のテストによる損失を許容できますか?

混乱を避けるために、これらのことは事前に明確に定義する必要があります。

第二に、テストにはコンテンツ設計があります。

例えば、このシナリオでは、ユーザーを引き付けるかどうかは、広告に使用するアカウントの種類、キャンペーンのタイミング、コピーライティング、コンバージョン経路、商品の選択、CTAアクションなどによって左右されます。最初から綿密な設計を行わずに、単に1つの広告だけを掲載すると、比較テストに使用できる他の多くの広告が利用できなくなり、有効な結論を導き出すことが不可能になる可能性があります。

第二に、テストは入力によって影響を受けます。

例えば、このシナリオでは、高品質なチャネルには多額の資金が必要となり、ユーザーへの補助金も他のチャネルよりも多額にする必要があるかもしれません。その結果、第一弾の投資は効果が出ないかもしれませんが、第二弾の投資強化で効果が出る可能性があります。そのため、追加投資を行うかどうかは事前に検討する必要があります。

上記の3点から、テストは4段階に分け、十分な準備をしてから進める必要があります（下図参照）。

III. 展開フェーズ

展開フェーズでは、次のような戦略的な問題に対処します。

• テストにはどれくらいの時間がかかりますか?
• どれだけのリソースを展開できるかをテストする
• どのようなテスト結果であれば満足できるでしょうか?

このシナリオでは、新しい広告チャネルのテストとして、まずそのチャネルのポジショニングを理解することが最初のステップです。一般的な例としては、以下のようなものが挙げられます。

• メイン チャネル: トラフィックの 50% 以上を占め、主な投資対象です。
• サポートチャネル: トラフィックの20%以上を占め、二次的な投資方向
• 周辺チャネル: 単一チャネルからのトラフィックは 5% を超えてはならず、ターゲット広告は選択的である必要があります。
• 散在するチャネル: 必須ではありませんが、ないよりはましです。

当期のチャネル展開目標全体に基づいて、必要なトラフィック量を逆算できます。次に、ビジネス戦略（新規チャネルの構築にコミットするか、トレンドを追うだけか）に基づいてタスクを明確に割り当て、テストにおける新規チャネルの位置付けを明確にする必要があります。位置付けが明確であれば、投資額とテスト回数を容易に決定できます。資金、人的資源、時間的リソースが明確になれば、その後の計画策定も容易になります。

4. 準備段階

準備段階では、戦術的な問題に対処します。

• どのチャネルをテストする必要がありますか?
• どのバージョンをテストする必要がありますか?
• どの製品をテストする必要がありますか?

このシナリオでは、経験が全くないため、サードパーティや業界のケーススタディやデータによる裏付けが必要です。100%正確なデータを得ることはできませんが、少なくとも類推によって学ぶことは可能です。例えば、

• 競合他社はどのアカウントを使用していますか?
• どれくらい多くの記事を観察できますか？
• インサイダー情報により得られたコンバージョン率はどのくらいですか？
• 業界ではどのような形式が使われていますか?

状況を分析した結果、少なくとも大まかな方向性が見えてきました。これは、盲目的に群衆に従うよりもはるかに良いことです。ユーザーの視点から見ると、ユーザー行動に影響を与える要因は多面的であることに注意してください。例えば、WeChat公式アカウントで広告を掲載する場合、タイトル、長さ、キャンペーンのタイミング、コンテンツの書き方、CTA、コンバージョン経路、商品価格、商品属性といった要素が全て影響を与えます。

上記のすべての要因を単一のテストデータで明確に分析することは困難です。そのため、事前に複数のテストバージョンを用意し、テストバージョン間の差異は大きくなく、ある程度の連続性を持たせる必要があります。これは、後の分析に備えるためです。

上記はすべて赤字の太字で強調表示されています。これは、実際にはビジネス関係者が細部にこだわりすぎて、全く比較できないほど大きく異なるバージョンが生まれることがよくあるためです。全体的なコンバージョン結果を見る以外に、細部をベンチマークすることは不可能であり、詳細な分析は極めて困難です。

事後分析の難しさの80%は、事前の計画不足に起因すると言えるでしょう。このことを覚えておいてください。

V. テストとレビューのフェーズ

準備が整ったら、テストを開始して結果をレビューできます。このシナリオはチャネルの展開を伴い、目標は新規投資ユーザーの獲得です。そのため、パフォーマンス指標は比較的シンプルで明確です。コンバージョンしたユーザー数、ユーザーの投資率、そしてユーザーの投資額です。テスト結果が展開フェーズの目標を達成すれば、チャネルは成功とみなされ、タスクは完了です。達成できなかった場合は、事前に定義されたイテレーションプランに従って反復処理と最適化を行い、効果をさらに観察できます。

強調する必要があるいくつかの詳細は次のとおりです。

1. 結果の判断と原因の分析は分離して行う必要があります。まず、結果が許容できるかどうかを判断し、次にどのリンクに問題があるかを分析します。
2. 反復は順番に行う必要があり、製品、価格、コンテンツはそれぞれ個別に変更する必要があります。理想的には、一度に1つずつ変更し、少なくとも3つすべてを一度に変更しないでください。
3. コンテンツを個別に変更するのではなく、商品と価格の変更を優先してください。コンテンツには細かな点が多く、すべてをテストするにはコストがかかりすぎるため、商品と価格を最優先に検討してください。

データを表示するときは、次の順序で展開できます。

VI. 要約

なぜ人工知能とビッグデータを使って正確な予測を行うにはどうすればよいのか、という問いから始めるのでしょうか？それは、多くの人が予測は可能だと本気で信じているからです。業務部門が予測を盲目的に信じているだけでなく、多くのデータアナリスト自身も予測を信じており、単にいくつかの数値を生成するだけでビッグデータになり、恣意的にモデルを構築しパラメータを調整するだけで人工知能になり、人工知能は全知全能の神であり、空から金色の光が降り注ぎ、コードがお金に変わり、キーを押すたびに画面から溢れ出る、と本気で考えています。

• データ分析にはデータが必要です。
• データがない場合は、まずデータを収集します。
• こういうビジネスはやったことがないので、まずは試しにやってみよう。
• 盲目的に物事を試さないでください。慎重な計画を立て、一度に 1 つずつ試してください。

一見シンプルに見えるこれらの伝統的プロセスこそが、データを通じてビジネスの成長を確実にする秘訣です。このシナリオでは外部チャネルが関係するため、A/Bテストによるトラフィックの比較は行いません。