Artificial Analysis、PC でエージェントの速さを測る道具

公開 2026年10月19日 18:164 分で読めます

AI モデルの評価を手がける Artificial Analysis は 9 月 29 日、ノートパソコンやワークステーションで AI のエージェントがどれだけ速く動くかを測る道具「AA-AgentPerf-Local」を、オープンソースで公開しました。実際のエージェントの作業の記録を再生して、推論の速さを測ります。あわせて、4 種類の機器で重みが公開されたモデルを動かした最初の結果も公開しています。

要点

既定の作業は記録した 8 つの作業・168 回のやり取りで、文脈は約 5 万 6,000 トークンまで増えます。
機器は DGX Spark・GeForce RTX 5090・Ryzen AI Halo・MacBook Pro M5 Pro です。
モデルは Qwen の 3 つと Ling 3.0 Flash で、どれも 4 ビットに量子化して動かしました。
1 回の処理で使うパラメーターが 30 億の Qwen3.6-35B-A3B が、どの機器でも最も速く終えました。
RTX 5090 は、32GB に収まるモデルではどれも、ほかの機器より 3.5 倍以上速く終えました。
DGX Spark は 4 モデル中 3 つで、発売時の価格が同じ Ryzen AI Halo の 1.4〜1.7 倍速でした。
MacBook Pro は現在の価格 $3,700 で最も安く、2 つのモデルで Ryzen AI Halo との差は 2〜9% でした。

機器は NVIDIA の DGX Spark(128GB)と GeForce RTX 5090(32GB)、AMD の Ryzen AI Halo(128GB)、Apple の MacBook Pro M5 Pro(64GB)です。モデルは Qwen3.5-9B・Qwen3.8-27B・Qwen3.6-35B-A3B と、総パラメーター 1,240 億で 1 回の処理に 50 億を使う Ling 3.0 Flash です。DGX Spark と Ryzen AI Halo は、メモリーの量も発売時の価格 $4,000 も同じです。

再生では、各回にそれまでの会話をすべて付けて送り、記録と同じ数のトークンを作らせるので、どの機器でも同じ量の仕事をします。道具の実行は既定では飛ばしますが、記録した待ち時間を再現したり、実際に CPU で動かしたりもできます。RTX 5090 が速いのは、メモリーの帯域が毎秒 1,792GB と、メモリーを共有する 3 機種の 256〜307GB より大きいことが主な理由だとしています。

入力の 73〜93% をキャッシュから使えても、各回の新しい入力を読み込む処理が、Qwen3.8-27B では完了までの時間の 22〜41% を占めました。道具が大きなファイルを返したとき、答え始めるまでに Ryzen AI Halo で最大 24 秒、MacBook Pro で 39 秒止まることがあり、RTX 5090 では約 2 秒でした。動かす設定は 14 通りを公開し、どれも投機的デコーディング(先読みで生成を速める方法)を使っています。OpenAI 互換の推論サーバーであれば、ほかのモデルや設定も手元で測れます。今後は、対応する機器やモデルを増やし、利用者が出した結果の一覧や、複数のエージェントが動く場面にも広げるとしています。

日本の利用者にとって

発表では、日本語への対応や日本での提供には触れていません。価格は米ドルで示されています。手元の機器で公開モデルを動かしたい人が、機器や設定を選ぶときの目安になります。

YOBITSUGI AI で使えるか

これは手元の機器での速さの評価の発表です。YOBITSUGI AI では fal.ai を通して Alibaba の Wan 2.2(動画)を使えますが、試された Qwen の各モデルは、現時点の対応モデルには含まれていません。Ling 3.0 Flash は、現時点では YOBITSUGI AI からは使えません。