本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

書類の読み取りでGPT-6系を比較、Astraは費用5倍で差わずか

執筆・監修: 佐々木 航公開 更新 4 分で読めます

共有XFacebookLINEはてブ

請求書から金額と日付を、契約書から相手の名前を取り出す。こうした作業に、いちばん高いモデルは要るのでしょうか。Microsoftは11月11日、書類や音声、動画から決めた項目を取り出すAzureの機能「Content Understanding」で、GPT-5.6、GPT-6、GPT-6.1の各モデルを選べるようにしました。あわせて、GPT-5.2からGPT-6.1 Solまでの9つのモデルを同じ評価で比べた結果も公開しています。

書類の読み取りは、上位3つがほぼ並ぶ

書類の項目の読み取りでは、GPT-6 Astraが95.95%で最も高い値でした。GPT-6.1 Solは95.74%で、差は0.21ポイントです。見本の書類を5件付けると、差は0.11ポイントまで縮まります。差はわずかですが、モデル代はAstraがSolの約5倍かかります。

モデル見本なし見本5件1,000件の費用
GPT-6 Astra95.95%96.88%$189
GPT-6.1 Sol95.74%96.77%$38
GPT-6 Sol94.76%95.92%$38
GPT-6 Luna91.82%94.16%$1.9
GPT-5.594.52%95.71%$103

Microsoftの評価(一般提供版の書類の項目の読み取り)の値。正答は、取り出した値が正しいかを別のAIに判定させたもの。1,000件の費用は、Microsoftが測った1件あたりの入出力のトークン数と評価に使った単価から計算した、見本なしのときのモデル代の目安で、Content Understandingの処理の料金は含みません。GPT-5.5は比べるための前の世代です。

しかも、より難しい書類を集めた別の評価(プレビュー版)では、順位が逆でした。GPT-6.1 Solが96.06%で、Astraの95.58%を上回っています。そこでMicrosoftは、書類の読み取りはGPT-6.1 Solから始め、費用を抑えたいならGPT-6 Luna、残った誤りの手直しが高くつくならAstraを試す、という順を勧めます。

見本を付ける効果は、安いモデルほど大きく出ました。GPT-6 Lunaは見本なしの91.82%から、見本5件で94.16%まで上がります。それでも、1,000件あたりのモデル代は約2.6ドルで、GPT-6.1 Solの見本なしの38ドルの15分の1ほどです。

書類の区切り、動画、音声では順位が入れ替わる

ほかの作業では、強いモデルが変わります。1つのファイルに入った複数の書類を切り分ける作業では、Astraが98.0%で首位、GPT-6.1 Solが97.1%、GPT-6 Lunaは88.9%でした。

動画から項目を取り出す作業では、GPT-6 Solが86.4%で最も高く、新しいGPT-6.1 Solは79.7%と9つの中で最も低い値です。60分の長い動画を区切る作業で、GPT-6.1 Solは65.8%にとどまり、GPT-6 Solの80.1%に大きく離されました。反対に、1分弱の広告の動画では、GPT-6.1 Solが93.6%で首位です。音声から項目を取り出す作業では、前の世代のGPT-5.2とGPT-5.5が上位でした。

読み取れること

書類の読み取りで、5倍の費用を払って0.21ポイントを上積みしても、多くの場面では見合いません。読み取る項目1万個あたりで減る誤りは約21個ですが、モデル代は書類1,000件あたり約150ドル増える計算です。誤りが支払いや審査に響く書類でなければ、まずGPT-6.1 Solで十分でしょう。量が多い書類は、Lunaに見本を付けて試すと、費用を大きく下げられます。

もう1つは、新しいモデルがどの作業でも上とは限らないことです。GPT-6.1 Solは書類では上位でも、長い動画では最も低い値でした。作業ごとにモデルを分けて選ぶほうが、品質と費用の両方で得をします。なお、評価に使った書類の言語は示されておらず、日本語の請求書や契約書での正答率は分かりません。自社の書類で、候補の2〜3モデルを同じ条件で比べてから決めるのが確かです。

YOBITSUGI AIで使えるか

Content UnderstandingはAzureの機能で、YOBITSUGI AIからは使えません。比べたモデルのうち、GPT-6 Astra、GPT-6.1 Sol、GPT-6 Lunaは、YOBITSUGI AIでも使えます。ただし、書類の読ませ方がContent Understandingと違うため、YOBITSUGI AIで同じ正答率になるとは限りません。各モデルの詳しい特徴は、GPT-6 SolとLunaの公開とGPT-6.1 Solの公開の記事にあります。

出典

共有XFacebookLINEはてブ