判断モデルに遊園地の経営を任せる評価、首位はDecider V1.3
執筆・監修: 佐々木 航公開 更新 4 分で読めます
選択肢ごとの確率を返す判断モデルに、遊園地の経営を任せたらどうなるか。
Vals AIは11月19日、遊園地のゲームを判断モデルに3年分経営させる評価を公開しました。名前は「RollerCoasterTycoonBench」で、9つのモデルのうち首位はPerplexityのDecider V1.3、平均71%でした。来園者1,000人の目標に届いたのは、Decider V1.3、Decider V1.2、OpenAIのGPT-6 Luna Decisionsの3つで、どれも3回のうち1回だけです。
96週を1週ずつ選んで進める
使うゲームは「RollerCoaster Tycoon 2」のオープンソース版OpenRCT2で、画面は出しません。現金1万ドルと借入金1万ドルの空き地から始め、3年目の10月末に来園者1,000人、公園の評価600(0〜999の段階)を目指します。ゲームの1年は3月から10月までなので、1回の勝負は96週です。
モデルは毎週、建設やスタッフ、財務などの窓を最大6つ開き、それぞれで1つだけ変更を選びます。選択肢はその時点で選べて払えるものだけで、並び順も呼び出しのたびに入れ替わります。いちばん高い確率が付いた選択肢を実行する仕組みです。モデルには、画面に見える情報を文字にした状態が渡され、長いと約4.4万トークンになります。
点数は2つを半分ずつ足します。1つは目標にどこまで近づいたか、もう1つは会社の価値です。会社の価値は公園の価値と現金を足して借入金を引いた額で、10万ドルを満点として数えます。モデルごとに3回ずつ遊ばせ、その平均を点にしました。9つのモデルの結果は次のとおりです。
| モデル | 点(%) | 1回の費用 |
|---|---|---|
| Decider V1.3Perplexity | 70.96 | $0.29 |
| Decider V1.2Perplexity | 67.06 | $0.21 |
| Jev 1.13.0TypeSafe | 59.22 | $2.18 |
| Drex MaxNace AI | 56.87 | $0.37 |
| GPT-6 Luna DecisionsOpenAI | 55.44 | $3.76 |
| Jev 1.14TypeSafe | 42.74 | $1.07 |
| Gemini Decision 1Google | 29.13 | $1.12 |
| Decider Flash V1.3Perplexity | 21.43 | $0.10 |
| Decider Flash V1.2Perplexity | 5.31 | $0.53 |
3回の平均。費用は1回の勝負にかかった呼び出しの料金の平均です。
TypeSafeのJevは、新しい1.14が前の1.13.0より16ポイント低い結果でした。費用では、5位のGPT-6 Luna Decisionsが1回3.76ドルで、首位のDecider V1.3の約13倍です。
借りてすぐ使うか、何もせず待つか
首位のDecider V1.3は、どの回でも最初の19週に5,000ドルの借り入れを3回し、すぐに使いました。3回とも来園者は965〜1,042人です。
逆に、お金があっても動かないモデルもありました。Drex Maxは96週のうち43〜49週で何もせず、そのうち28〜35週は建てるお金がありました。Decider Flash V1.2は、乗り物の点検の間隔を1回の勝負で439〜469回変えたものの、整備士を一度も雇っていません。2回目と3回目の71週目には、乗り物や売店の8割前後が故障していて、来園者は79〜118人で終わりました。27回の勝負のうち20回で借り入れをし、返したモデルはありません。
ただ、モデルの自信と成績はほとんど結びつきませんでした。選んだ選択肢に付けた確率は、点の高いモデルも低いモデルも平均37〜48%です。また、役割と目的の説明を外すと、6つのうち4つのモデルで選択の19〜35%が変わりました。建設の価格を状態に載せないと、9つのうち7つで来園者が減っています(どれも3回ずつなので、モデルごとの差は統計的に確かとはいえません)。
ここからは編集部の見方です。判断モデルの評価は、これまで1問ずつの正答率を測るものが中心でした。Artificial Analysisの評価で首位だったDrex Maxが、続けて判断するこの評価では4位です。つまり、測り方が変わると順位も入れ替わります。業務の流れに組み込むなら、1問の正しさだけでなく、動かない週が続く癖や借金の扱いのような、続けて判断したときの性格も見ておきたいところです。
判断モデルは、どれもYOBITSUGI AIで公開している対応AIの一覧には含まれていません。YOBITSUGI AIではGPT-6 Lunaを文章の作業に使えますが、判断モデルとして使うDecisions APIの形ではありません。
出典
- Building RollerCoasterTycoonBench: Can Decision Models Manage a Theme Park?(Vals AI・2026年11月19日)
- RollerCoasterTycoonBench(Vals AI・2026年11月20日に確認)