Articles
開発は一番高いコストではなかった
AI時代は検証が重要になる、と言われる
最近、人間に残る仕事は検証だ、という話をよく見かける。AIにコードを書かせる開発が普通になり、実装が少数の高習熟者とエージェント群で回るようになったからだ。実際、Sonarの調査では開発者の96%がAIの出力を完全には信頼しておらず、それでいて必ず検証しているのは48%にとどまる。方向は合っている。ただ、この言い方のまま組織設計へ持ち込むと、間違えるのではないか。
この記事は、AIを組織に入れる側の人に向けて書く。経営者、テックリード、開発組織の運用者を想定している。扱うのは、検証が大事だという話そのものではなく、なぜ大事になるのかというコストの構造と、それを組織のどこに置くかである。
検証が重要になるのは、検証の中身が変わるからではなく、開発という山が縮んでコストの地形が変わり、検証の立つ位置が変わるからだと考えている。
営業に数十人、システムに数人
開発が事業の支配的コストだ、という前提は、エンジニアほど強く持っているはずだ。
XのようなSNSで目立つのは、SaaSやtoCプロダクトで勝負するスタートアップで、ソフトウェアだけを磨けば事業が立つように見える。実際にそう勝つ会社もあるし、正直に言えば、エンジニアには心地よい世界観でもある。ただ、経済の大半はtoBで、そこでは作る費用より、知ってもらい信じてもらう費用のほうが重い。営業やマーケティングには数十人いるのに、システムは数人で回している会社は珍しくない。事業の通期で見れば、開発は一番高いコストではなかった。
とはいえ、AI以前の開発が安かったわけではない。作っている期間に限れば、開発は本当に支配的なコストだった。事業はフェーズごとに、開発費の山と獲得費用の山を交互に登ってきた。
この開発の山は、大手になるほど高く、見通しにくくなる。システム開発費は膨大になる一方で、発注する側に中身を検証できる人がいないため、金額が妥当かどうか誰にも分からないまま支払われてきた。外部化された保守費用まで含めれば、通期で見ても高い。
AIが変えるのは、この地形の一部だけだ。開発の山は縮む。ただ、勝手に縮んでくれるわけではない。AIは作業を安くするが、責任は取らない。中身を検証できない発注者は、結局は作業ではなく責任と保証に金を払い続けることになり、外注のシステム費用は当面高いまま残るだろう。システム費用を安くする条件は、発注側に責任を持てる検証者を置き、そこにコストをかけることだ。
一方、マーケティングの山は、そもそも縮まないように見える。作業はAIで安くなっても、費用は落ちない。取り合っているのが労働ではなく、人間の注意と信頼だからだ。コンテンツが無限に安く作れるようになるほど、注意の奪い合いは激しくなり、信頼のプレミアムはむしろ上がっていく。残るのは、動かないマーケティングの山になる。
もちろん、これは注意の獲得に依存する事業の話で、口コミで閉じる事業や純粋な受託では構造が違う。それでも、作る側の山だけが縮み、届ける側の山が残るという非対称は、かなり広い範囲で効く。
検証は、安い上流と高い下流のあいだに立つ
開発が安く無限に近づき、マーケティングと信頼は高いまま残る。この2つを並べると、あいだに立つものの位置が見えてくる。
上流: 候補はいくらでも安く作れる
│ │ │ │ │
▼ ▼ ▼ ▼ ▼
検証: ━━ 選別弁 ━━ どれに賭けるかを判定する
│
▼
下流: 予算と評判を注げるのは少数上流では、候補をいくらでも安く作れるようになった。一方で、下流で金と評判を注げる対象は相変わらず少ない。だとすると、注ぐ前に、どの候補が当たりかの確度を上げる仕事が要る。これが検証で、安く無限の上流と、高く有限の下流のあいだに立つ選別弁になる。
振り返ると、この判定に組織はほとんど金をかけてこなかった。何を作るかの判断は少数のプロダクトオーナーや役員に任され、注げる資源は一人の人間の給与と帯域で頭打ちだったからだ。能力が低かったという話ではない。実装費は人月で青天井に膨らむのに、判断は労働単価でしか買えなかった、という構造の話である。
ミスのコストの所在も移っている。かつてのミスは、無駄になった開発工数として払われた。いまはそこが安くなり、高くつくのは、間違ったものにマーケティング予算を注ぎ、ブランドを毀損する下流側になった。
だから、AIで何回でも試せる、という言い方は正確ではない。試行回数の上限を決めるのはトークン予算ではなく、候補を判定する検証のスループットである。Agodaも、AIでコーディングは速くなったのに開発全体は大して速くならず、ボトルネックは仕様と検証に移ったと報告している。作る速度がいくら上がっても、選別弁の処理速度より速くは市場に出せない。
QAはアルバイトの仕事だった
少なくとも私が見てきたゲーム業界とその周辺の開発現場で、QAは長く、軽い仕事とされてきた。専門的な能力を要しないと見なされ、定常的には要らないという理由で外注される。内製であっても、手を動かすのはアルバイトという構造が普通だった。外部化されない場合も、非技術職が本業の片手間に担うのが常態だった。
一方で、検証の本体になるはずのドメイン知識と品質を判定する目は、組織の別の場所にある。ミドル層、企画、営業、現場だ。その知識は要求と調整に使われて、検証にはほとんど使われてこなかった。知識と検証が、組織の中で分かれてしまっていたことになる。
ただ、この扱いを怠慢と呼ぶのは違う気がしている。当時の構造では、むしろ合理的だった。AI以前、QAは必ず、支配的コストである開発の後に来る。QAの時点でビジネス上の欠陥が見つかっても、積み上がった開発費の前では戻る選択肢がなく、直せるのは表面の不具合だけだった。発見が方向を変えられない位置にある検証に、高い能力を割く理由がない。安い労働力に回されたのは、その帰結だった。
AIが変えたのは、この位置である。開発が安くなり、作り直しが惜しくなくなると、検証の発見は初めて方向を変えられるようになる。検証が重要になるのは、検証の中身が変わったからではなく、サンクコストに封じられていた検証が、選別弁の位置に出られるようになったからだ。
検証には二層ある
ここまで検証と一括りに呼んできたが、中身には別物が二層混ざっている。出来たものが正しいか、業務で使えるかを判定する品質検証と、そもそも何を作るべきかを判定する市場検証だ。この二層を混同すると、業務知識の厚い大組織はAI時代に有利だ、という結論を誤読しやすい。
大組織が厚く持っているのは、品質検証の素材のほうだ。業務知識を持ち、出力の良し悪しを判定できる目は組織のあちこちにある。検証の用途で使われてこなかっただけである。
市場検証のほうは逆に、大組織が構造的に苦手とする側になる。バックログは検証済みの需要の在庫のようでいて、中身は市場ではなく社内政治を通過した要求であることが多い。既存事業の実績データで市場検証を底上げすることはできるが、データは既存事業の形のミラーであり、解約した顧客の理由は映しても、来なかった人の理由は映さない。データによる検証は既存事業の重力圏内では効くが、圏外への跳躍までは検証できない。
だから、大組織はAIで有利になるという話は、品質検証に限れば正しく、市場検証まで含めると楽観に寄りすぎだと思う。選別弁の設計では、この二層を別の問題として扱ったほうがよい。
選別弁をどこに置くか
避けたほうがよいのは、全員をAIに習熟させようとする変革だ。AI習熟にははっきりした断絶があり、低習熟者は同じ成果物に何倍ものトークンと時間を使い、高度な領域ではそもそも実装しきれない。全員習熟を前提にした変革は、この断絶に衝突して失敗する。
有効なのはむしろ逆で、既存人材を検証者として再定義することだ。業務知識を持つ人に求めるのはAIの操作ではなく、AIの出力の判定である。分かれていた知識と検証を、ここで再結合する。すでに持っている能力をそのまま使うから、断絶を越える必要がない。
分解者(少数の高習熟者)
│ 仕様と粒度
▼
エージェント群(実装)
│ 成果物
▼
検証者(業務知識を持つ多数)
│ 判定と文脈
└──→ 分解者へ戻るこの構図で見ると、中間管理職は削減対象の筆頭ではなく、検証者の供給源になる。彼らの機能のうちAIが侵食するのは情報の伝達で、ドメイン知識と品質判断、人の育成は、むしろ価値が上がる側にある。
もう一つ、選別弁は判定できるだけでは開かない。検証の結果を、やめる判断へ変換する回路が要る。検証スループットは検証能力と意思決定速度の積で決まるから、判定が速くても撤退の決裁が遅ければ、弁はそこで詰まる。実務で見てきた範囲では、検証能力の不足より、撤退回路の不在のほうが律速になっていることが多い。
ただし、出力の判定を人間が安く確実にできるのは、いまの時点の話である。モデルの自己検証が実用になれば、この優位は狭まっていくはずで、ここで書いた配置は、その時点までの設計になる。
重要になるのは、検証の配置である
AI以前、事業は開発費の山と獲得費用の山を交互に登っていて、QAは高い開発の山の後ろで、サンクコストに封じられていた。AIは開発の山を縮め、動かないマーケティングの山を残した。検証はいま、安い上流と高い下流のあいだ、選別弁の位置にようやく立てるようになった。
だから、AI時代は検証が重要になる、という冒頭の話は、こう読み直せる。検証の価値が急に生まれたわけではない。方向を変えられない位置に封じられていた検証が、方向を決める位置へ出てきた。それを活かせるかどうかは、組織が検証をどこに置くかで決まる。
問いは、AIをどう導入するかではなく、選別弁をどこに置き、誰に握らせ、撤退の回路をどれだけ速く回すか、になる。事業の通期で見れば、開発は一番高いコストではなかった。その開発すら縮んだいま、残った一番高いものの手前に立つ検証の配置が、AI時代の組織設計の中心になる。配置の単位をどう切るかは、稿を改めて書く。