Epoch AI、家具の組み立ての誤りを見つける力を評価
公開 3 分で読めます
AI の研究機関 Epoch AI は 9 月 23 日、組み立て途中の IKEA の家具の写真から、AI が組み立ての誤りを見つけられるかを測る評価「Furniture Assembly Benchmark(FAB)」の結果を公開しました。車や家電の修理のように、目で見て形や位置の関係をとらえる力が要る仕事の目安になるとしています。最も高い正答率は、10 か月で 28% から 80% に上がりました。
要点
- 3 つの家具を組み立てた 60 枚の写真を使い、わざと誤った組み立ての写真も混ぜました。
- モデルには説明書の PDF・画像の拡大の道具・Python を渡し、誤りの手順と中身を答えさせました。
- 首位は GPT-6 Astra の 80% で、Claude Fable 5.1 の 70% が続きました。
- 2025 年 11 月時点の最高は、Claude Opus 4.5 の 28% でした。
- GPT-6 Astra は 1 枚あたり中央値 3 分で答え、試したモデルの中で最も速くなりました。
- 中国の公開モデルで最も高い Kimi K3 は、首位の水準から 7 か月遅れていました。
家具は靴の棚「STÄLL」、ベッドの枠「TONSTAD」、たんす「GULLABERG」で、人が組み立てると目安で 1.5〜5 時間かかるものです。家具の複雑さと正答率にははっきりした関係が無く、Epoch AI は、誤りの見えにくさや写した角度などが難しさに影響したとみています。Google の Gemini と Alibaba の Qwen はほとんどいつも誤りがあると答え、Anthropic と OpenAI の初期のモデルは反対に誤りを見落としがちでした。3 位は Claude Opus 5 の 61% で、Gemini 3.8 Flash は 32% でした。
Kimi K3 は、総合の指標 ECI では首位の水準から 4.4 か月の遅れで、この評価では差がより大きくなりました。Epoch AI は、中国のモデルでは画像を扱えるものがまだ少なく、DeepSeek V4 Pro・Flash と Z.ai の GLM 5.3 は画像に対応していないとしています。GPT-6 Astra の 3 分は、その場で手順を案内するにはまだ少し遅いものの、近づいているとしています。写真は 3 つの家具の 60 枚だけで、ほかの作業にどこまで当てはまるかは分からないとしています。
日本の利用者にとって
研究の評価の発表で、日本語への対応や日本での提供には触れていません。写真と説明書をもとに作業の誤りを見つける使い方の、現時点の水準を示す結果です。
YOBITSUGI AI で使えるか
これは評価の結果の発表です。結果に出ているモデルのうち、YOBITSUGI AI では OpenAI の GPT-6 Astra、Google の Gemini 3.1 Pro と Gemini 3.8 Flash、Anthropic の Claude Opus・Claude Fable の系列を使えます。選べるモデルは、アプリのモデルの選択欄で確認できます。
出典
- AI has improved significantly at reasoning about IKEA furniture assembly(Epoch AI・2026年9月23日)
