Cohere、検索の並べ替えモデル Rerank 5 を公開

Cohere は 10 月 21 日、検索で見つけた文書を質問に合う順に並べ替える「リランク」のモデル「Rerank 5」を公開しました。社内の文書を探して AI に答えさせる仕組み(RAG)などで、AI に渡す文書を絞り込むときに使うモデルです。

要点

• 質を重んじる Rerank 5 Pro と、速さと費用を重んじる Rerank 5 Fast の 2 つです。
• Pro は、推論の要る難しい検索や、金融・医療・科学の分野の文書で最も伸びたとしています。
• Fast は、前の世代の Rerank 4 Pro より成績が良いとしています。
• 新しい機能「Context Focus」で、文書の中の関係する部分だけを点数つきで返せます。
• 点数がどの質問・分野でもそろうよう調整され、1 つのしきい値で絞り込めるとしています。
• 100 以上の言語に対応し、一度に扱える長さは 3 万 2,000 トークンです。

Context Focus を使うと、関係する部分だけを言語モデルに渡してトークンの費用を減らしたり、利用者になぜその結果が選ばれたかを示したりできます。この機能は既定では切れています。JSON や表などの半ば構造化されたデータも並べ替えられます。リランクは検索のたびに文書の文を読むため、モデル名を変えるだけで移れ、文書を索引に入れ直す必要はありません。Cohere の API のほか、Microsoft Foundry と Amazon SageMaker でも使えます。

日本の利用者にとって

100 以上の言語に対応するとしていますが、発表では日本語での性能には触れていません。社内の文書の検索に AI を使う企業向けのモデルです。

YOBITSUGI AI で使えるか

現時点では YOBITSUGI AI からは使えません。