OpenAI、COBOL などの古い言語でのコーディングの評価を公開

OpenAI は 10 月 19 日、COBOL・Fortran・Visual Basic のように、Python などより学習の材料となるコードや資料が少ないプログラミング言語での、自社のモデルのコーディングの力を測った結果を公開しました。こうした言語は、銀行や天気予報など社会の基盤を支えるシステムで今も使われていて、保守や作り直しに AI を使いたいという声が開発者や企業から寄せられていたとしています。

要点

• 20 の言語で SQLite と同じように動くデータベースを一から作る評価 MultiLangBench を作りました。
• GPT-6 Astra はテストの通過率が平均 87.4% で、GPT-5.6 Sol の 26.8% から大きく上がりました。
• GPT-6 Astra は 20 言語のうち 19 で 83% を超え、最も難しい COBOL は 72.1% でした。
• GPT-6 Luna は 40.3% で、1 回の費用は GPT-5.6 Sol より約 78% 安い $0.77 でした。
• COBOL のプログラムをほかの言語に移す評価では、GPT-6.1 Sol が最大 97.9% を達成しました。
• MultiLangBench の評価の仕組みとテストは GitHub で公開しています。

COBOL の移行の評価では、C++・Java・Kotlin・Python・Rust のどれかに書き直し、出力が 1 バイトも違わないかを伏せたテストで確かめます。COBOL の固定小数点の計算は、指定がなければ余った桁を切り捨てるため、四捨五入に書き換えると動いても金額が変わってしまう、といった違いを守れるかを見ます。GPT-6.1 Sol は推論を浅くした設定で 86.6%(GPT-5.6 Sol は 5.4%)、深くした設定で 97.9% でした。

OpenAI は、実際のシステムに使うには、専門家の確認と、業務の決まりや周りのシステムとのつながりに合わせたテストが今も必要だとしています。数値はいずれも OpenAI が自社で行った評価の結果です。

日本の利用者にとって

発表では、日本のシステムや日本語には触れていません。COBOL などで作られた古いシステムの保守や移行を抱える組織にとっては、AI をどこまで使えるかの目安になります。

YOBITSUGI AI で使えるか

YOBITSUGI AI では OpenAI の GPT-6 Astra・GPT-6.1 Sol・GPT-6 Luna を使えます。選べるモデルは、アプリのモデルの選択欄で確認できます。