AI21、コードレビューの AI の費用を 98% 下げた実験を公開

イスラエルの AI21 Labs は 10 月 22 日、GitLab の AI のコードレビューの機能「Duo Code Review」の仕組み(ハーネス)を使い、レビューの質を保ったまま費用を 98% 下げた実験を公開しました。GitLab はこの仕組みのソースを公開しており、AI21 は公開のプルリクエスト 50 件からなる評価(Martian の Code Review Bench)で試しました。GitLab の本番の利用やお客さまのデータは使っていません。

Duo Code Review は、リポジトリの構造を見る・関係するファイルを読む・分析する・レビューを書く、の 4 つの段階でモデルを呼びます。実験の時点では、すべての段階で Claude Sonnet 5 を使っていました。

要点

• 元の構成は 1 件あたり 0.589 ドルで、費用の 65% は最後のレビューの段階でした。
• 前の 2 段階だけを Claude Haiku 4.5 にすると、質は変わらず費用は 15.4% 下がりました。
• Haiku を分析やレビューの段階に使うと、質が下がりました。
• 全段階を重みが公開された DeepSeek V4 Flash にすると、費用は 85.3% 下がり、質も保てました。
• 読ませるコードを規則で縮める工夫を合わせると、1 件 0.0135 ドルと 97.7% 下がりました。
• 質を表す F1 は、元の 46.4% に対し最後の構成で 47.2% でした。

注目したいのは、2 つの工夫の値打ちが組み合わせで大きく変わった点です。読ませる量を縮める工夫は、Sonnet 5 のままでは費用を 19.4% 下げただけでした。読む量は減ったのに、モデルの考える量(出力)が 28% 増えたためです。ところが DeepSeek に替えた後では、同じ工夫が残りの費用の 84% を削りました。AI21 が動かした DeepSeek の環境は一度に 25 万 6,000 トークンまでしか受け付けず、大きな変更の 3 件(6%)だけが Sonnet 5 に戻され、残りの費用の 77% を占めていたからです。縮める工夫で、すべてのレビューが DeepSeek に収まりました。

推論の強さを最大にする、プロンプトのキャッシュを使うといった方法は、効果が無かったとしています。DeepSeek の費用は、自前で動かしたものを Together AI の公開の料金で計算しています。構成は採点に使う同じ 50 件で調整しており、AI21 も、ほかの仕組みに数字がそのまま当てはまるわけではないとしています。GitLab はその後、Duo Code Review を Sonnet 5.5 に替えています。

日本の利用者にとって

AI のエージェントの費用を下げたい開発者には、進め方が参考になります。AI21 は、まず段階ごとにどこでお金がかかっているかを測る、1 度に 1 つだけ変える、新しい変更を入れたら前の変更も試し直す、という手順を勧めています。安いモデルが向く段階と向かない段階があり、段階ごとにモデルを選ぶのが効くという結果です。

YOBITSUGI AI で使えるか

試されたモデルのうち、Claude Sonnet と Claude Haiku の系列は YOBITSUGI AI で使えます。選べるモデルは、アプリのモデルの選択欄で確認できます。DeepSeek は DeepSeek V4 Pro・DeepSeek V4.1 Flash を使えます。今回使われた DeepSeek V4 Flash は、現時点の対応モデルには含まれていません。