本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

国産Sarashina3のRAG、並べ替えで精度向上 書き換えは逆効果

執筆・監修: 佐々木 航公開 更新 5 分で読めます

共有XFacebookLINEはてブ

社内の文書を検索して答えるRAGで、どの工夫を足せば答えが良くなるのか。SB Intuitionsは11月12日、自社の言語モデルSarashina3で組んだRAGに2つの工夫を足し、日本語の知識を問うベンチマークで効き目を測った結果を技術ブログで公開しました。10月に出したいちばん単純なRAGの例の続編で、使ったモデルはすべてSarashina APIから呼べる自社のモデルです。

3,000問で比べた4つの組み方

評価には、Preferred Networksが公開するJapanese SimpleQAの3,000問すべてを使いました。日本語版Wikipediaを512トークン以下に区切った文書から探し、見つけた文書を添えて答えさせました。

組み方やり方F1
検索なしモデルの知識だけで答える0.312
単純な検索埋め込みで近い5件を渡す0.938
リランカー10件を拾い、並べ替えた上位5件を渡す0.948
質問の書き換え質問を検索向けに書き換え、近い5件を渡す0.881

SB Intuitionsの11月12日の技術ブログから。答えと書き換えはSarashina3 mini、埋め込みはSarashina3 embedding、並べ替えはSarashina3 rerankです。F1スコアは、全問の正解の割合と、答えた問いの正解の割合を合わせた指標で、1に近いほど良い値です。

検索を足すだけで、0.312から0.9台に上がりました。この問題の多くは、答えが日本語版Wikipediaに書いてあるからです。リランカーはそこからさらに0.01上げましたが、単純な検索でもほとんどの問いに答えられるため、差は小さめです。

質問の書き換えは、逆に0.881まで下がりました。ベンチマークの質問は「〜は誰か」「〜はいつか」のように短く整っていて、そのまま検索に使えます。SB Intuitionsによると、書き換えで余計な言い換えが入り、かえって検索がずれたためです。質問と文書の言葉づかいが近いと書き換えで精度が下がるという、2026年の別の研究の結果も合わせて挙げました。

2つの工夫は、何を直すのか

リランカーが直すのは、検索の順位の粗さです。埋め込みは質問と文書を別々にベクトルにして近さを比べるので速いものの、細かい見極めは苦手です。ブログの例では、「わかしたて」という電気ケトルの保証期間を聞くと、「保証期間」という言葉を何度も含むのに年数が書いていない文書が1位になりました。答えの「無償修理は購入日から2年間」の文書は3位です。リランカーは質問と文書を1組にして読み、点を付けて並べ直すため、答えの文書が1位に戻りました。

Sarashina3 rerankは、1回に1〜20件の文書を並べ替えられます。点は並べ替えのための値で確率ではなく、関連の薄い文書でも0.9を超えることがあります。そのため、決まったしきい値で切り捨てないよう、ブログは注意を促しました。1段目の候補に答えの文書が入っていなければ、並べ替えても拾えません。

質問の書き換えが効くのは、話し言葉の質問と文書の言葉づかいが合わないときです。「アプリを開こうとすると弾かれる」という質問は、「認証エラー」「パスワードの再設定」と書いた文書に届きませんでした。それでも、Sarashina3 miniで「アプリが起動できない問題の解決方法」と書き換えると、正しい文書が1位になります。ただし、書き換えるモデルは文書を見ていないので、文書の言葉を当てて補えるわけではありません。モデルを呼ぶ回数が1回増え、答えが出るまでの時間も延びます。

読み取れること

いちばんの学びは、同じ工夫でも、質問の形によって効き目が逆になることです。問い合わせの窓口のように話し言葉の質問が多いなら、書き換えは試す価値があります。一方、社内の検索のように短い言葉で探す使い方では、かえって悪くなるかもしれません。リランカーは追加の呼び出しが1回で、整った質問でも下がらなかったので、まず試す工夫として向いています。

ただし、Wikipediaから答えを探す問題で、単純な検索でも0.938と高いところでの比べです。社内の文書のように言葉づかいがばらばらなデータでは、差の出方が変わります。答えの正誤を判定したモデルも書かれていません。SB Intuitionsも、使うデータで精度を確かめてから選ぶよう勧めています。答えを文書で確かめ直すChain of Verificationと、文書のつながりをたどるGraphRAGの2つは、次の記事で扱う予定です。

YOBITSUGI AIで使えるか

Sarashina3は、YOBITSUGI AIからは使えません。Sarashina APIは、10月に始まった無償のベータ版で試せます。

2026年11月17日 追記:SB Intuitionsは11月17日、続編で残りの2つの工夫を紹介しました。答えの主張を1つずつ文書で確かめ直すChain of Verification(CoVe)と、文書のつながりをたどって探すGraphRAGです。どちらも10件の文書の小さな例で示したもので、この記事のような3,000問での評価はありません。続編は4つの使い分けもまとめ、追加の処理が小さいリランカーと質問の書き換えを最初に試す候補としています。CoVeはLLMを呼ぶ回数が増える(例では6回)ので誤りが許されない用途に、GraphRAGは文書をまたぐ質問が多いデータに向くとしました。この記事の3,000問で点が下がった質問の書き換えについては、続編は触れていません。

出典

共有XFacebookLINEはてブ