Databricksが公開したAIコーディング費用削減術：モデル選定でコスト半減も
- AIによるコーディングは確かに効果があり、チームによっては生産性が10倍になった例も。しかしトークン請求額も指数関数的に膨らみ、大規模に導入したほぼ全ての企業がこの壁にぶつかっています。
- 4つの施策の中で最も効果が大きいのはモデル選定の見直し。Stripeは実測の結果、新しいOpusが性能向上なしに価格だけ高いと判断し、社内導入を拒否しました。
- 一番意外なのはこの点：ハードな利用枠を日常的なツールとして使っている企業は1社もなく、遮断は最終手段として残していること。その理由は、以下に挙げる2つの現実的な理由からです。
効率は伸びても、請求額はもっと伸びる
Databricksが最近公開したコスト管理の振り返りは非常に実践的です。AIによるコーディングについて、社内で追跡しているすべてのスピード指標で改善が見られ、チームによっては生産性が10倍になりました。しかし、請求額も指数関数的に増え続けています。
このまま放置すれば、いつかは会社の売上高を超えるでしょう。企業は板挟みになっています。できるだけAI活用を推進し、最高のツールを全従業員に届けたい。一方で、AIによる効率向上の利益を食いつぶし、場合によっては打ち消してしまう総コストにも直面しているのです。
幸い、いち早く大規模展開した企業たちは、両方を同時に達成する方法を編み出しました。従業員全員がほぼ抵抗なくAIツールを使えるようにしつつ、一人当たりのコストをほぼ一定の範囲に抑えるという方法です。この手法の材料は、Databricks自身の実践と、Stripe、Coinbase、Uber、Ramp各社との意見交換に基づいています。
4つの施策と、それぞれの削減効果は次の通りです。
| 手法 | 具体的な内容 | 削減効果 |
|---|---|---|
| より低コストなモデルへの変更 | オープンソースモデル＋より高効率な新モデル | 50%+ |
| Smart Routing | モデルとツールを動的に割り当て | ~30% |
| 支出管理 | 費用の見える化、超過警告、予算の段階的制御 | ~10% |
| コンテキスト最適化 | 圧縮、ツールの冗長性排除、キャッシュ調整 | ~10% |
既製のソフトウェアで導入できる施策もあれば、インフラの変更が必要な施策もあります。特に、開発者のローカルツールを変更したり、複数のモデル間でトラフィックを切り替えたりする必要がある施策です。Databricksは自社のシステムを構成する2つの重要コンポーネント、開発者向けの統合エントリポイント「Omnigent」と、トラフィック管理を行う「Unity AI Gateway」を公開しており、前者はオープンソース、後者は無料で利用できます。
日常のコーディングに最強モデルは不要
よく言われる「フロンティアモデル」とは、最も賢いモデルを指します。各研究所が競っているのも知能の上限であり、現在の最先端モデルは数学の難問を解いたり、新たなセキュリティ問題を発見したりできるまでになっています。
しかし、AIを全社の数千人の開発者に展開するとなると、もう一つのフロンティアが重要になります。それが効率フロンティアです。これは同じ知能水準であれば、最も価格が安いモデル群を指します。
数学の難問を解くにはアインシュタインを呼ぶ必要があるかもしれません。しかし、コンポーネント名をXからYに変更したり、繰り返しの定型コードを補完したりするのにアインシュタインを呼ぶのは、純粋なお金の無駄です。日常のコーディング作業の大部分は後者に該当し、モデルがエンジニアリング品質の合格ラインを超えていれば十分で、知能の上限が高くてもその恩恵は受けられません。
したがって、会社の請求額を本当に左右するのは、「ちょうど良い」モデルの価格です。そして、この効率フロンティアは、知能フロンティアよりもはるかに速いペースで進歩しています。ほぼ毎週新しいモデルが発表され、同じ1ドルで買える知能は前世代よりも増えています。
モデル変更が最も効果的、ただし公開ベンチマークは当てにできない
4つの施策の中で最も効果が大きいのはこれです：新しく、より高効率なモデルに迅速に移行することが、他のどの施策よりも大きな削減につながります。しかし、このメリットを享受するには、どの新モデルが本当に現在のモデルより優れているのかを企業が把握している必要があります。
これは想像以上に難しい問題です。公開ベンチマークのスコアと実際のコーディングタスクのパフォーマンスは一致せず、スコアが高くても自社のコードベースで良い結果が出るとは限りません。そこで、多くの企業が自社で自動評価システムを構築し、実際の内部開発により近い構成の問題でテストしています。Databricksも自社の数百万行のコードベースでこのベンチマークを構築・実施したところ、GLMシリーズが特にコストパフォーマンスに優れていることが判明し、社内の開発者にGLMを推奨しました。