デジタルトランスフォーメーションの波の中で、アルゴリズムエンジニアは大きな期待を集め、複雑なビジネス課題を解決する鍵となる存在と目されています。しかし、現実は理想よりも厳しい場合が多いのです。この記事では、実例を通して、従来型企業のアルゴリズムエンジニアが直面する課題とジレンマを明らかにします。

「うちのアルゴリズムエンジニアは能力が低すぎて、問題が全く解決できない！」―従来型企業と頻繁に取引するベンダーとして、陳氏はこうした不満を何度も耳にし、同様の悲惨な状況を目の当たりにしてきました。今日は、この問題について体系的に議論しましょう。

このモデルはすごいと思いませんか？ChatGPTを見てください。人類をほぼ絶滅させてしまったのですから、驚異的でないわけがありません。だからこそ、多くの企業が歯を食いしばって高額な報酬を提示し、大手インターネット企業からアルゴリズムエンジニア、データマイニングエンジニア、データモデラーを雇い入れ、信じられないほど強力なモデルを作り上げてくれることを期待しているのです。彼らの合言葉は「あなたが正確に予測できれば、私は必ず成功できる」です。

そして偶然にも、近年の大手企業でのレイオフが相次ぐ中、あるグループが「バイトダンス／アリババ／テンセントの元シニアアルゴリズムエンジニア」という肩書きを利用して、従来の企業から人材を引き抜き、貧困から富豪へと転身し、人生の頂点を極めようと考えた。両者はすぐに意気投合した。そして、悲劇はここから始まったのだ…

01 ビジネスニーズを無視し、スケープゴートになる

ケーススタディ1：ある伝統的な企業が、ユーザーのニーズに的確に応える商品レコメンデーションモデルの構築を目指していました。しかし、わずか6ヶ月で、採用したアルゴリズムエンジニアが解雇されました。解雇の理由は、レコメンデーションが不正確で、通常の販売に支障をきたしていたためです。クライアントのマーケティング部門の責任者は、「アリババのレコメンデーションアルゴリズムもそれほど優れているわけではない」と軽蔑的な発言をしました。

ビジネスシナリオを詳しく見てみると、アリババに問題があるのではなく、あなたの会社がアリババではないことが分かります。アリババはプラットフォームプロバイダーであり、そのプラットフォーム上で宣伝されるのを待っている商品は無数にあります。

しかし、あなたの会社について言えば、次のことがわかります。

1. 一部の商品は、生きていくために欠かせないベストセラー商品であり、プロモーションをしなくてもよく売れます。

2. 一部の製品は私たちにとって大切なものであり、ほんのわずかな問題でも発生すると、心が引き裂かれるような気分になります。

3. 機能性に乏しく価格設定も不当な製品もあり、本質的に弱点があるため、競合他社との競争に勝てません。そのような場合、レコメンデーションアルゴリズムは何の役に立つのでしょうか？

4. 製品の品質は悪くないが、社内の政治的立場が悪かったり、リソースを確保できなかったり、価格が高すぎたりして、後々不利になる場合があります。

前任のアルゴリズムエンジニアは、業界内の熾烈な競争を無視し、モデルに飛びつきました。彼はすべての製品を一括してレコメンデーション（協調フィルタリングを用い、ユーザーのスティッキネスや行動データの量を完全に無視）しました。その結果、主力製品は衰退し、営業部門とマーケティング部門は彼に責任を転嫁しようと共謀しました。最終的に、彼は解雇されただけでなく、評判も失墜しました。

この背景を慎重に分析した結果、最適化ソリューションが開発されました (下の図を参照)。

まず、徹底的な製品分析を行い、成長の可能性が限られているニッチな製品カテゴリーを選択し、協力的な部門を見つけましょう。そうして初めて、事業を開始できるのです。

予想通り、第一波のプロモーションはすぐに効果を発揮しました。

そこでクライアントは喜んで引き継ぎ、最適化と反復作業に戻りました。

02. シナリオの詳細な説明がないと、非常に面倒です。

ケーススタディ2：あるチェーン店は、各店舗のフィッシュボール、ビーフンロール、おにぎり、パンなどの販売量を個々のSKU（在庫管理単位）に至るまで正確に予測するモデルの構築を希望していました。これにより、店舗は過剰在庫による原材料の廃棄や在庫切れによる販売機会の損失を防ぐことができました。7人のモデラーが6ヶ月間作業しましたが、予測精度は十分ではなく、4人が辞職し、残りの3人も落胆しました。では、どうすれば100%の精度を実現できるのでしょうか？

このシナリオを真剣に考えてみると、きっと滑稽に思えるでしょう。もしこの7人が本当にフィッシュボールとソーセージを100%の精度で予測できる能力を持っていたら、一体なぜ働く必要があるのでしょうか？先物取引をすればいいだけなのに！

綿密な調査の結果、いわゆる「在庫切れによる販売機会の損失」は単なる空論であることが判明しました。これは、正式な在庫切れ登録システムが存在しなかったためです（多くの企業では導入されていますが、この企業には導入されていませんでした）。しかし、在庫積み増しによるロス率は確かに非常に高かったため、最適化計画が策定されました（下図参照）。

このシステムを2ヶ月間運用した結果、ロス率が大幅に減少し、目に見えるコスト削減効果も実感できました。一方で、「在庫がない店舗もあるなんて！」という声も聞かれました。しかし、証拠はどこにあるのでしょうか？証拠はどこにあるのでしょうか？データがなければ、ただの空論で、誰がそんな話を信じますか？こうして、事態は見事に好転しました。

当然のことながら、クライアントが引き継いで最適化を続けました (そうです、クライアントは第 2 フェーズまたは第 3 フェーズの契約に署名することを好まないだけで、彼ら全員が後の契約は処理できると考えていますが、それはまた別の話です、笑)。

03. 変化に適応できないと不当な死につながる。

ケーススタディ3：大手流通業者は、在庫の積み上がりを回避するため、携帯電話とタブレットの販売を正確に予測するモデルの構築を望んでいました。モデルを5回変更しましたが、いずれも満足のいく結果ではありませんでした。ビジネスフィードバックは、予測精度が不十分で、意思決定に欠陥があったというものでした。

綿密な調査の結果、問題は予測自体ではなく、ビジネスチームの優先順位の絶え間ない変更にあることが判明しました。モデルの有効性は総売上高に基づいて評価されていましたが、総売上高が各チャネルマネージャーに割り当てられた後、誰かが常に売上高の増減を要求していました。さらに、最初の2週間の売上が好調だった場合、彼らは積極的に販売量を増やし、結果として在庫を積み上げていました。一方、最初の2週間の売上が低調だった場合、彼らは販売を完全に避け、在庫を売り切ろうとしていました。最終的に、全体的なデータに大きな偏差が見られ、彼らは予測の不正確さの原因をアルゴリズムに求めました。

こうした悪党どもの行動を把握した上で、最適化計画が策定されました。最適化後、結果は即座に現れました。いわゆる不正確な予測は、ビジネスチームの不確かな交渉、誤算、そして疑わしい行動によって90%も正確ではありませんでした。彼らは無傷で逃れただけでなく、5人の罪のない犠牲者の名誉を回復しました（下の画像を参照）。

04 データの品質が悪く、とてもイライラします。

ケーススタディ4：ある大企業がインテリジェントなカスタマーサービスシステムの構築を目指し、高給で若い人材を採用しました。しかし、入社後、生データが乱雑だっただけでなく、カスタマーサービスに関する研修が不十分だったため、問い合わせ、苦情、提案といった最も基本的なカテゴリタグさえも完全に間違っていたことが判明しました。当然のことながら、6ヶ月間成果が出なかった後、彼は解雇されました。

ケーススタディ5：ある大企業はTikTokのようなコンテンツレコメンデーションアルゴリズムを構築しようと、高給取りの若者を誘い込みました。しかし、入社してみると、社内にコンテンツカテゴリタグがなく、ユーザーが割り当てたタグも90%が空タグという、意味不明なものばかりでした。マネージャーは「もうこんなにお金を払っているのに、なぜできないんだ？なぜ後輩の手を借りる必要があるんだ？TikTokを見ればわかるだろ？全部アルゴリズムエンジニアがやってるじゃないか」とまで言ってきました。

╮(╯▽╰)╭

そうです。アルゴリズムモデルを信じる人が増えるほど、データ構築の重要性は薄れていきます。彼らは皆、「アルゴリズムは既にあるのに、なぜデータが必要なんだ？ データは単なる基礎的で初歩的なものではないのか？」という考え方を持っています。

ちなみに、学生の中には、これらの「倒産」期間がすべて6ヶ月であることに気づいた人もいるかもしれません。なぜでしょうか？インターネット企業におけるアルゴリズム関連のポジションの多くは、実質的にはマスコットのようなもので、企業が「人工知能への道を歩んでいる」ことを証明し、株価を維持するためのものだからです。そのため、インターネット企業の業績評価は従来の企業よりもはるかに緩やかです。従来の企業では、6ヶ月以内に成果を出せなければ、解雇される以外に何があるでしょうか？

05 問題の根本原因

問題の本質は、データモデリングが本質的に非効率性と闘うという点にあります。データモデリングは、計算すべき変数が多すぎて手作業では扱いにくい複雑な問題を解決するのに役立ちます。それは計算手法であり、優れた知恵による神秘的な力でも、隠者のような存在でもありません。データモデリングの最適な応用分野は、ビジネス上の問題の診断ではなく、画像認識や音声変換といった比較的客観的な分野です。

従来の企業は次のような問題に直面しています。

• 予期せぬ事態はよく起こります。天気予報では雨が降ると予測されていたので、商品の仕入れを少なめにしていたのに、急に雨が止んでしまい、在庫切れになってしまったり…
• 目的が不明瞭：上司が個人的に気に入っていた商品を掲載したが、上司が誤った判断をした…
• ビジネス感覚が乏しい: 予測が不正確、感情的、顧客やサプライヤーから賄賂を受け取る、上司に気に入られようとする。

このような混沌とした状況には、データ分析がより適しています。データ分析とは、本質的に不確実性と戦うことです。データ分析には、データの綿密な収集、業務プロセスの合理化、ビジネス上の問題の診断、そしてデータテストの実施が含まれます。データ分析は主観的な仮定を檻に閉じ込め、「私はこう思う」を「私は確信している」に置き換えます。したがって、複雑なビジネス上の問題に直面したとき、最善のアプローチは、AlphaGoのような強力なツールが魔法のように雲を晴らし、奇跡的な回復をもたらすことを期待するのではなく、データを綿密に収集し、分析モデルを慎重に構築し、分析経験を着実に積み重ねることです。

したがって、複雑なシナリオが明確に定義され、外部要因が排除されていれば、モデルは運用上の問題をある程度解決できることがわかります。しかし残念なことに、ソーシャルメディアの記事から経営陣の内心、そしてパラメータを調整するエンジニアのキーボードの音まで、あらゆる声が同じです。

アルゴリズムが再び人間を上回りました!

アルゴリズムはあなた自身よりもあなたのことをよく知っています!

このアルゴリズムは 99% の超高精度な予測を実現します。

したがって、このような悲劇は今後も発生し続けるでしょう。そして、より多くの企業がデジタル化を加速させるにつれて、さらに多くの、そして壊滅的な悲劇が繰り広げられることになるでしょう。今後の動向を見守る必要があるでしょう。