本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

判断モデルに遊園地の経営を任せる評価、首位はDecider V1.3

執筆・監修: 佐々木 航公開 更新 4 分で読めます

共有XFacebookLINEはてブ

選択肢ごとの確率を返す判断モデルに、遊園地の経営を任せたらどうなるか。

Vals AIは11月19日、遊園地のゲームを判断モデルに3年分経営させる評価を公開しました。名前は「RollerCoasterTycoonBench」で、9つのモデルのうち首位はPerplexityのDecider V1.3、平均71%でした。来園者1,000人の目標に届いたのは、Decider V1.3、Decider V1.2、OpenAIのGPT-6 Luna Decisionsの3つで、どれも3回のうち1回だけです。

96週を1週ずつ選んで進める

使うゲームは「RollerCoaster Tycoon 2」のオープンソース版OpenRCT2で、画面は出しません。現金1万ドルと借入金1万ドルの空き地から始め、3年目の10月末に来園者1,000人、公園の評価600(0〜999の段階)を目指します。ゲームの1年は3月から10月までなので、1回の勝負は96週です。

モデルは毎週、建設やスタッフ、財務などの窓を最大6つ開き、それぞれで1つだけ変更を選びます。選択肢はその時点で選べて払えるものだけで、並び順も呼び出しのたびに入れ替わります。いちばん高い確率が付いた選択肢を実行する仕組みです。モデルには、画面に見える情報を文字にした状態が渡され、長いと約4.4万トークンになります。

点数は2つを半分ずつ足します。1つは目標にどこまで近づいたか、もう1つは会社の価値です。会社の価値は公園の価値と現金を足して借入金を引いた額で、10万ドルを満点として数えます。モデルごとに3回ずつ遊ばせ、その平均を点にしました。9つのモデルの結果は次のとおりです。

モデル点(%)1回の費用
Decider V1.3Perplexity70.96$0.29
Decider V1.2Perplexity67.06$0.21
Jev 1.13.0TypeSafe59.22$2.18
Drex MaxNace AI56.87$0.37
GPT-6 Luna DecisionsOpenAI55.44$3.76
Jev 1.14TypeSafe42.74$1.07
Gemini Decision 1Google29.13$1.12
Decider Flash V1.3Perplexity21.43$0.10
Decider Flash V1.2Perplexity5.31$0.53

3回の平均。費用は1回の勝負にかかった呼び出しの料金の平均です。

TypeSafeのJevは、新しい1.14が前の1.13.0より16ポイント低い結果でした。費用では、5位のGPT-6 Luna Decisionsが1回3.76ドルで、首位のDecider V1.3の約13倍です。

借りてすぐ使うか、何もせず待つか

首位のDecider V1.3は、どの回でも最初の19週に5,000ドルの借り入れを3回し、すぐに使いました。3回とも来園者は965〜1,042人です。

逆に、お金があっても動かないモデルもありました。Drex Maxは96週のうち43〜49週で何もせず、そのうち28〜35週は建てるお金がありました。Decider Flash V1.2は、乗り物の点検の間隔を1回の勝負で439〜469回変えたものの、整備士を一度も雇っていません。2回目と3回目の71週目には、乗り物や売店の8割前後が故障していて、来園者は79〜118人で終わりました。27回の勝負のうち20回で借り入れをし、返したモデルはありません。

ただ、モデルの自信と成績はほとんど結びつきませんでした。選んだ選択肢に付けた確率は、点の高いモデルも低いモデルも平均37〜48%です。また、役割と目的の説明を外すと、6つのうち4つのモデルで選択の19〜35%が変わりました。建設の価格を状態に載せないと、9つのうち7つで来園者が減っています(どれも3回ずつなので、モデルごとの差は統計的に確かとはいえません)。

ここからは編集部の見方です。判断モデルの評価は、これまで1問ずつの正答率を測るものが中心でした。Artificial Analysisの評価で首位だったDrex Maxが、続けて判断するこの評価では4位です。つまり、測り方が変わると順位も入れ替わります。業務の流れに組み込むなら、1問の正しさだけでなく、動かない週が続く癖や借金の扱いのような、続けて判断したときの性格も見ておきたいところです。

判断モデルは、どれもYOBITSUGI AIで公開している対応AIの一覧には含まれていません。YOBITSUGI AIではGPT-6 Lunaを文章の作業に使えますが、判断モデルとして使うDecisions APIの形ではありません。

出典

共有XFacebookLINEはてブ