まだ5月下旬ですが、多くの企業が既に618件ものプロモーションを実施しています。大手企業数社の担当者と綿密な議論を重ね、イベント効果評価システムの構築プロセスをまとめました。本日は、実際のケーススタディをご紹介いたします。 シーン再現： ある音楽アプリは、新規ユーザーに登録時に7日間の無料メンバーシップを提供しています。ユーザーは登録後にメンバーシップを申請するかどうかを選択できます。メンバーシップの有効期間は1ヶ月です。質問：このプロモーションをどのように評価しますか？ I. 活動評価におけるよくある間違いまず第一に、「評価する/判断する」を動詞として使用する質問の場合、答えは「良いか悪いか」だけであることを覚えておいてください。 例えば、この活動をどのように評価しますか？次のように答えることができます。
これが評価分析の核となる結論です。この4つの文がなければ、他のすべては意味をなさないのです。例えば：
これらは結論ではなく、単なる分析プロセスです。結論なしにこれらのプロセス指標を提示すると、ビジネス関係者から「だから何？だから何？何を分析したの？結論は何？」と質問される可能性が高くなります。結局、恥ずかしい思いをして、気まずい思いをすることになります。 II. 活動評価における主要な課題活動を評価する最初のステップは、良い/悪い評価を得ることです。評価が「良い」場合は、継続可能かどうか、そしてあと何回実行できるかを検討します。評価が「悪い」場合は、どこに問題があるのか、修復不可能なのか、それとも修復して継続できるのかを検討します。 データ + ラベリング = 判断。したがって、良い/悪い判断を下すには、次の2つの要素が必要です。
基準を満たしていれば良い、満たしていなければ悪い。それだけです（下の画像をご覧ください）。 単純なことのように思えますが、実際には運用スタッフは次のようなことをよく行います。
つまり、オペレーションスタッフ10人のうち、現状と目標を正確に説明できるのはせいぜい2人だけです。だからこそ、データアナリストは独立した判断力を持つ必要があります。ビジネスロジックを分析し、ビジネスプロセスを合理化して客観的な結論を導き出せる能力が不可欠です。ここでは、全く不明確なシナリオを例に、オペレーション担当者が目標を明確にできるよう支援する方法を見ていきます。 III. 評価モデルをゼロから構築するアプローチ1. 最初のステップは、イベントプロセスを合理化することです。運用活動はユーザー行動を変化させ、それがデータ指標の変化として現れることがあります。評価モデルをゼロから構築するには、まず、活動の具体的なプロセスと、それがユーザー行動にどのような変化をもたらす可能性があるかを理解することから始まります。例えば、新規ユーザーに特典を提供するという問題は、以下のように要約できます（図を参照）。 行動の変化を理解したら、これらの行動を記録するためにどのようなデータが使用できるか、そしてそれらがどのような指標を反映しているかをさらに検討できます。この分析により、活動の結果を測定するために使用された指標が明確になります。この作業は、計画段階で運用部門が行う必要があります。事前に適切に行われていない場合は、事後対応が必要です。 2. 2 番目のステップは、主要な指標を選択することです。イベントは様々な側面に影響を与えます。例えば、上記の質問で無料ギフトがあった場合、あなたは何と言いますか？
データを見ずに言葉だけを聞くと、確かに上記のすべては理にかなっています。しかし、すべてを詰め込み、解約しなかったユーザー（例えば無料会員になったユーザー）の割合、製品自体から利益を得たユーザーの割合、楽曲を受け取ったユーザーの割合を計算してもらうと、明確な答えが得られるかどうかは運次第です。したがって、評価指標に優先順位を付け、問題をより明確にする必要があります。 目標が事前に設定されている場合、キャンペーンの主な指標はそれらの目標と密接に連携し、直接影響を受ける指標を優先する必要があります。例えば、キャンペーンの目的が新規ユーザーの獲得である場合、主な指標は新規登録ユーザー数です。キャンペーンの目的が新規ユーザーの維持率の向上である場合、主な考慮事項は1～7日間の維持率です。 これは単純なことのように思えますが、実際には運用担当者が状況を利用するのは容易です。彼らはしばしば、いくつもの指標を持ち出したり、「私のキャンペーンはユーザーの認識を大きく変え、データでは測れないほどの広範囲にわたる影響をもたらしました」と主張したりします。つまり、彼らはいくつもの指標を持ち出し、良さそうなものだけを挙げ、そうでないものは無視するのです。 データ評価を行う際に最も大きな間違いは、何百もの指標や過度に複雑な評価式を作成することです。評価要素が増えるほど、言葉遊びの余地が大きくなり、問題を覆い隠しやすくなります。シンプルで明確な評価を行うことで、問題を特定しやすくなります。 3. 3番目のステップは、判断基準を設定することです。明確な主要指標があれば、判断基準を見つけることができます。判断基準を見つけるための基本的なアプローチは4つあります。
企業の観点から言えば、最初の方法が間違いなく最も現実的です。しかし、イベントを企画する立場からすると、誰もが自分の貢献を強調したいため、2、3、4の方法を使う傾向があります。運営スタッフは、自然成長率（イベントがない場合の自然成長率）についてよく話します。そして、イベントを非常に印象的に見せるために、自然成長率を非常に低く、あるいはマイナスに計算する傾向があります。 いわゆる自然成長率は、活動頻度が低い場合にのみ計算できることに注意することが重要です。多くの企業（EコマースやO2Oなど）は、常にプロモーションを実施しており、大規模なプロモーションが小規模なプロモーションの中に組み入れられているため、それらを区別することが不可能であるため、この方法は適用できません。 同様に、参照グループを設定する際の前提は、参照グループに活動リマインダーや参加機能がないこと、そして参照グループと活動グループのユーザークオリティがほぼ同等であることです。この制約が満たされない場合、活動が効果的であると直接的に結論付けることは困難です。これらの方法はどれも科学的に見えますが、実際には操作の余地に満ちています。この問題を明確に議論するために、単純かつ直接的に基準を定めましょう。 4. 4 番目のステップは、結果に影響を与えるプロセスを特定することです。上記のステップ1、2、3はすべて、判断に至るための準備です。「良い/悪い」という判断が確定したら、なぜ良いのか、あるいは悪いのかをさらに分析します。この時点で、ビジネスプロセスを精緻化・分析し、結果に影響を与える重要なポイントを特定する必要があります。例えば、ユーザー獲得キャンペーンでは、広告チャネル、広告文、登録プロセス、サイト入会後の特典の受け取り方法、会員特典の受け取りプロセスなどが、結果に影響を与えます（下図参照）。 これらの指標を分析する際には、優先順位に注意することが重要です。例えば、新規ユーザー登録に関しては、まず様々なユーザー獲得チャネルにおける広告活動、キャンペーンが予定通りに開始されたか、そしていつ広告と連携されたかを検討します。その後、コピーライティング、販促ギフト、レシート受領後の行動などを詳しく調査するべきです。 IV. 要約この質問が面接で使われたら、新人、初心者、ベテランの違いがすぐにわかるでしょう。
はい、新参者は主に2つの問題を抱えています。まず、メトリクスを積み上げようとします。まるで、メトリクスが多ければ多いほど、自分が優れているかのように。次に、モデルについて語りたがります。そのモデルが使えるかどうか、実際に使ったことがあるかどうかは関係ありません。話すだけで自分が優れているように見えるからです。彼らは標準規格の問題を完全に無視しています。 初心者を黙らせたい場合は、次のように質問してください。 「なぜ 50,000 の増加は良いこととみなされ、49,127 は悪いこととみなされるのか?」 ニューラルネットワーク評価モデルを構築する際、誰が良いアクティビティと悪いアクティビティをラベル付けするのでしょうか？アクティビティ全体をラベル付けするのか、それとも特定の指標だけをラベル付けするのか？そして、なぜ異なる種類のアクティビティをまとめてラベル付けするのでしょうか？ この質問は、新人をほぼ困惑させました。結局のところ、キャンペーン評価においては、高度な技術スキルよりも明確な理解が重要であり、明確な理解よりも誠実さを維持することが重要です。ユーザー獲得、アクティベーション、リテンション、コンバージョン、バイラルマーケティングなど、一般的な運用キャンペーンの基本を理解し、標準的な運用データと過去のキャンペーンに精通していれば、概ね正しい答えを出すことができます。真の問題は、ビジネスプロセスへの理解が不足していることです。つまり、彼らが何をしているのかさえ理解していないのです。 著者：地道な陳先生；出典：WeChat公式アカウント：地道な陳先生（ID：773891） |
