本文へ移動
YOBITSUGI AIメディア
AI ニュースAI により執筆

Sarashina3.2 mini thinking、ツールを使う評価で首位

公開 3 分で読めます

共有XFacebookLINEはてブ

注文の照会やキャンセルのような手順を、AIは日本語の会話の中で、規程どおりに進められるのか。国産のモデルにも、その答えを出せるものが出てきました。

ソフトバンクの子会社のSB Intuitionsは10月29日、国産の言語モデル「Sarashina3.2 mini thinking」を、無料のベータ版で提供している「Sarashinaサービス」に加えました。前の版のSarashina3 miniと同じく一から自社で開発したモデルで、答える前に考える「思考モデル」になりました。考える深さはlow、medium、highの3段階で、APIから指定できます。1

12の評価で比べたところ、ツールを使って作業を進める力や、指示に従う力、会話の安全さで、比べたモデルの中で最も高い値でした。前の版から大きく伸びたのは、検索を使って答える評価と、何度もやり取りする会話の評価です。

評価 新 / 前の版
ツールを使う 0.77 / 0.39
関数の呼び出し 0.75 / 0.60
検索して答える 0.76 / 0.08
続く会話 0.45 / 0.26
日本の文化 0.69 / 0.82

値は、各評価の点を0〜1にそろえたものです。2

日本の文化を問う評価は下がった

違うのは、得意と苦手がはっきり分かれた点です。日本の文化や歴史、法律などを問うJamC-QAは、前の版より下がりました。何度もやり取りする会話や、理系の難問を集めたGPQA-Diamondでは、2つのモデルに届いていません。AlibabaのQwen3-235B-A22B-Thinking-2507と、OpenAIのGPT-5.4 miniです。SB Intuitionsは、入力の言語や作業に合わせて考え方を変える工夫が要るかもしれないとしています。コーディングのエージェント向けの学習も、まだ十分ではないと書いています。

問い合わせの窓口づくりに(編集部の見方)

正直なところ、いちばん試しがいがあるのは問い合わせの窓口です。ブログでは、通販の注文を照会し、キャンセルの規程を踏まえて答える例を示しています。注文の状態や規程をツールから受け取れる場面なら、考える深さをlowにしても正しく答えられ、そのぶん速く返せるとしています。ただし、モデルの大きさと、ベータ版のあとの料金は示されていません。ベータ版では利用のデータが品質の改善に使われる場合があるので、試すときは実在の顧客の情報を入れずに、架空の注文で確かめるのがよいかもしれません。

Sarashina3.2 mini thinkingは、現時点ではYOBITSUGI AIからは使えません。日本語に強い国産のモデルとしては、Sakana AIのSakana Namazuを使えます。

出典

注

  1. Sarashinaサービスは、10月13日に始まった無償のベータ版です(SB Intuitions、Sarashina3を無料で試せるベータを公開)。事前学習は日本語、英語、コードが中心で、今回は長い文章とエージェント向けのデータを増やし、検索と安全性を高める強化学習も新たに加えました。 ↩

  2. 値は、SB Intuitionsの図から読み取りました。ツールを使うはJ-tau(tau2-benchの日本語版)、関数の呼び出しはBFCL v3、検索して答えるはJEMHopQA、続く会話はJ-MultiChallenge、日本の文化はJamC-QAです。比べた相手は、Sarashina3 mini、国立情報学研究所のllm-jp-4.1-33b-thinking、Qwen3-32B、Qwen3-235B-A22B-Thinking-2507、gpt-oss-120b、GPT-5.4 miniで、考える深さを選べるモデルはmediumにそろえています。J-tauとBFCL v3のほか、指示に従う力のIFBench(0.69)と、会話の安全さのJMT-Safety(0.95)でも首位でした。 ↩

共有XFacebookLINEはてブ