データ分析の世界では、指標の変動の重要性と影響を理解することは、すべてのアナリストにとって不可欠なスキルです。この記事では、ハードメトリクスからソフトメトリクス、そして限界メトリクスに至るまで、指標の変動をどのように定義し、管理するかを深く掘り下げ、これらの変動の背後にある意味とビジネス上の意思決定への影響を明らかにします。

「今日の変動を分析する」というのは、データアナリストが最も頻繁に耳にするタスクです。これは最も面倒で、複雑で、理解しにくいタスクでもありますが、毎日実行しなければなりません。

1% の減少は大きな変動と考えられますか?

5% の低下は大きな変動とみなされますか?

10% の低下は大きな変動とみなされますか?

50% の低下は大きな変動とみなされますか?

なぜ、50%の下落ではビジネス上の対応が起こらないのに、1%の下落でビジネスがパニックに陥ることがあるのでしょうか？今日はそのシステムについて見ていきましょう。

I. 指標変動の性質

簡単な例を挙げると、体温が37.4度と36度ではわずか3.9%の変動です。しかし、COVID-19検査場で37.4度の体温の人が見つかった場合、警備員に即座に退去を求められる可能性が高いでしょう。なぜでしょうか？ 人々は5.5%の変動を恐れているのではなく、ウイルスを恐れているからです。37.4度の体温はウイルス感染の可能性を示唆しています。人々が本当に恐れているのはウイルスなのです。

したがって、指標の変動自体が怖いのではなく、それがもたらすビジネスへの影響こそが怖いのです。指標の変動がビジネスに及ぼす影響を考慮せずに議論するのは無責任です。この点を理解することは、議論を続ける上で不可欠です。

II. 指標の変動の意味

▌ カテゴリー 1: ハード指標の変動。

一部の指標は、事業部門の業績評価に厳格に適用されます。例えば…

営業実績評価：営業実績と現金回収。

評価対象製品: 在庫、粗利益

顧客サービスパフォーマンス評価：電話応対と苦情処理

これらの指標は厳格な業績指標であり、定められた目標値を達成しなければならず、そうでなければ1%の不足でも問題となります。そのため、しばしば「ハードメトリクス」と呼ばれます。これは営業において最も顕著です。業績目標が設定されると、たとえ0.5%の不足でも失敗とみなされ、ボーナスは支給されません。

厳格な業績目標を掲げる部門は、変動に最も敏感で、非常に細心の注意を払います。これらの目標を達成できない場合、懲戒処分や減給に直結する可能性があります。そのため、これらの目標の変動には特に注意が必要です。

▌ カテゴリー2: ソフト指標の変動。

登録ユーザー数、ユーザーのクリック率、コンバージョン率などの指標。

これらの指標は、多くの場合、ビジネス成果に至るプロセスを表しています。これは、サイトを閲覧したり、カートに商品を追加したり、購入したりする前に登録ユーザーが必要であることと同じです。ソフト指標の上昇または下降は必ずしも問題ではありません。新しいビジネスモデル（下の図を参照）やランダムな変更を示している可能性があります。

そのため、ソフトメトリクスの変化は、ビジネスアクションを直接的に引き起こすものではありません。人々は、変化が良いのか悪いのか、そしてそれがハードメトリクスに潜在的な影響を与えるかどうかについて、より懸念を抱いています。こうした不確実性こそが、分析を特に困難にしているのです。

注：ハードメトリクスとソフトメトリクスの区別は固定的なものではありません。例えば、多くのインターネット企業は「ユーザー数の増加」を評価しますが、その場合、登録ユーザー数はハードメトリクスとなり、マーケティング部門はそれを達成することが求められます。したがって、ハードメトリクスとソフトメトリクスの区別は、各部門の具体的なKPI要件によって異なります。

▌ カテゴリー3: 限界指標の変動。

満足度やブランド認知度などの指標。これらの指標には共通の特徴があります。

1. データはサンプル調査から得られたものであり、完全な統計分析に基づくものではありません。そのため、サンプル抽出方法、アンケート方法、調査時期など、ビジネスに関連しない要因も結果に影響を与える可能性があり、ビジネス上の課題を直接反映するものではありません。

2. 結果がハード指標やプロセス指標と密接に関連していない、あるいは直接検証が困難である。例えば、満足度の場合、満足度が高いからといって100%の購入を意味するのか？必ずしもそうではない。逆に、満足度が低いからといって購入しないのか？これも必ずしもそうではない。

3. 人間の介入は大きな影響を与えます。例えば、サンプリング方法を変更すると、結果がすぐに変わる可能性があります。また、大規模な広告キャンペーンやプロモーションによって、数値が瞬時に上昇することもあります。

これらの不正確で役に立たず、簡単に操作できる指標も変動し、注目を集めます。しかし、これらの指標の背後にあるロジックを理解すれば、変動を制御するのは驚くほど簡単であることがわかります。単に数字ゲームをするだけで済むのです。

3つの主要な指標タイプを理解すれば、指標の変動への対応において、より的確な方向性を見出せるようになります。ハード指標 > ソフト指標 > 限界指標の順です。画面に高値や安値の指標がずらりと並んでいるのを見て、慌てて頭を悩ませるのではなく、この順番で重要な指標に注目しましょう。

一次的および二次的な区別が確立されると、サイズを判断する基準をさらに検討できます。

III. 変動の大きさを判断する基準

ステップ 1: 誤った変動を排除します。

多くの変動は自然な変動です。

たとえば、週末、休日、平日の取引量の違いなどです。

たとえば、商品が発売されたとき、ベストセラーになったとき、または製造中止になったときにユーザー数に変化が生じます。

例えば、WeChat公式アカウントに記事が掲載されてから7日以内に読者数は減少します。これらの指標は、当然ながら変化のパターンを示しています。

インジケーターのパターンを定期的にまとめることで、ルールを発見できます (下の画像を参照)。

一度パターンを発見したら、そのパターンに合致する変動は疑似変動です！変動値が大きくても、慌てる必要はありません。正常な状態です。しかし、パターンに反する変動は、間違いなく何か異常なことが起こっていることを意味します！変動の大きさに関わらず、重要な変化であり、注意深く観察する必要があります。

▌ステップ 2: 積極的な行動を定量化する。

多くの変動は、ビジネス運営によって積極的に引き起こされます。

たとえば、売上を伸ばすためのプロモーションを実行したり、仕事のスキルを向上させるためのトレーニングを実施したりします。

例えば、在庫を一掃したり、できるだけ早く在庫を処分したりするなどの指標の変化は、業務の運営によって引き起こされます。

このような状況に直面した場合、まず最初にすべきことは、その企業が実際に何をしているのかを明確に理解することです。そうしないと、長い時間をかけて分析した後で、相手が「そんなことは分かっていた」「やった」と言ってきたら、あなたは恥をかくことになります。

第二に、あらゆるビジネスアクションの目標と成果を明確に文書化することが重要です。これにより、「指標の変動がビジネスの期待を満たしているかどうか」を評価しやすくなります。これは重要な評価基準であり、赤字で強調表示する必要があります。積極的な行動が取られ、指標の変動が期待を満たしていれば、ビジネスチームは過度に懸念することはありません。しかし、期待を満たしていない場合は、「一体どこで不足していたのか」を知りたがるでしょう。この時点で、観測されたビジネスの期待と実際のパフォーマンスのギャップを特定することが不可欠になります（下の図を参照）。

事業目標が達成された場合、いかなる変動幅も許容範囲です。成長／衰退は事前に引き起こされるため、指標の変化が大きいほど好ましいといえます。一方、目標が達成されなかった場合は、期待値と実績値の差を変動値として分析する必要があります。

▌ステップ3: 外部の影響を定量化する。

多くの変動は、ポリシー上の制限、天候、競合他社など、収集可能な外部要因によって引き起こされます。注：多くの外部要因は、その影響を判断するためのデータ収集が不足しています。また、影響が分かっていても、対処できる範囲が限られているケースも数多くあります。雨がパフォーマンスに影響を与えると分かっているからといって、竜王に祈ることはできません。

したがって、外部影響の大きさを評価する際には、1日の絶対数を見るのではなく、影響の予想される期間を計算し、その期間内の総影響値を推定する必要があります。この値がボラティリティを測る基準となります。

ステップ4：その他の予期しない変動。データ自体は正しいにもかかわらず、通常とは異なる変動、積極的なビジネスアクションによる変動、外部要因による変動が発生する状況はありますか？

はい！この時点で、最初のステップは変動が発生するポイントを見つけることです。

地球規模の変動か、それとも地域的な変動か?

それは継続的ですか、それとも突然ですか?

変動値が大きいか小さいか

問題の大きさを判断する基準:

地球規模の問題 > 地域の問題

持続可能性 > 短期的な問題

数字が大きくなればなるほど、問題は大きくなります。

問題領域が特定されると、指標の属性に基づいて対策を検討できます (下の図を参照)。

ハードパフォーマンス指標の変動について：ハードパフォーマンス指標のいずれかを達成できない場合は重大な問題となります。これらの指標を維持するための対策を検討する必要があります。

ソフト指標の変動については、関連するハード指標が崩壊しない限り、大きな問題にはなりません。短期的な変動にとらわれず、根本的な原因を見つけることに焦点を当ててください。

限界指標の変動について：恐れることはありません！反転させるのは簡単です。

この区別は、状況に対処するための明確な方向性を示します。迅速な対応が必要な場合は果断に行動し、より慎重なアプローチが必要な場合は慎重に進めます。そうでなければ、優先順位を定めず、単に遅く非効率的なデータ分析を行うと、「大げさに言うな」「そんなことは分かっていた」といった批判を受けるだけになり、データ分析レポートが完成する前に、既に他の人が問題を解決しているという結果になってしまいます。

IV. なぜ人々は常にボラティリティにこだわるのでしょうか?

まとめると、指標の変動に冷静かつ合理的に対処するには、次の2点が必要です。

▌ビジネス部門は、何をすべきかを知っています。

1. ハード指標、ソフト指標、限界指標を明確に識別します。

2. 自分の行動が指標にどの程度影響するかを理解します。

3. 短期、中期、長期的に何ができるかを理解する。

4. 短期的なタスクが期待どおりの結果を達成したかどうかを把握します。

データ部門は、何が起こったのかを正確に把握する必要があります。

1. これらのどれが積極的なビジネスアクションですか。また、どの程度の達​​成を目指していますか。

2. 繰り返されるパターンは何ですか、またどの程度ですか?

3. 定量化できる外部要因は何ですか。また、それらは実際にどの程度の変化をもたらすことができますか。

4. 異常な変化とは何ですか? また、どこで発生しますか?

残念ながら、現実には多くの事業部門が、どれだけの業務をこなすべきか、どれだけの業務をこなせるか、そしてどれだけの業務を既にこなしたかを定量化することなく、ただ盲目的に業務を進めているのが現状です。彼らは、指標のわずかな変動にも、驚いた鳥のように反応してしまいます（下の図をご覧ください）。

データ部門は、指標の意味、ビジネスの性質、そしてパターンを定量化する方法について理解が不足しています。彼らは単に指標を性別、年齢、地域、チャネルなどと相互参照し、多数の棒グラフを作成し、そのうちの1本の棒が短いと「この変動はすべてこの棒が短いからだ！」と叫ぶのです。彼らはこれを「多次元分解法」と呼び、オンラインで記事を書いて新入社員を誤解させています…。

「盲人が盲馬に乗る」という諺は、まさにこの気持ちを的確に表していると言えるでしょう。「テンセントやアリババ、あるいはテンセントから、上級データサイエンティストを雇ってAIビッグデータモデルを構築させれば、話せば誰でも真実がわかる」と期待するのは、奇跡的な治療法を期待する末期患者です。

1. ビジネス目標とビジネス行動を定量化する

2. ビジネス ロジックを分析し、レポートにまとめます。

3. 過去の経験と開発動向をまとめる

4. 現状を評価し、ギャップを計算することが、「指標変動への不安」に対処する最善の方法です。