Sakana AI、一から作るSawaraの重みを2027年春に公開へ

海外のモデルを手直しするのではなく、言語モデルを一から作る。Sakana AIが、その計画を明らかにしました。

同社は10月26日に東京で開いたシンポジウムで、事前学習から自社で開発する言語モデルのシリーズ「Sakana Sawara」（仮称）を発表しました。11月2日に公開した開催レポートによると、12月に小規模な「Sawara Small」（仮称）の事前学習を始めます。順調に進めば、2027年春に重みを公開する予定です。そのあとには、より大規模な「Sawara Large」（仮称）の計画もあります。

違うのは、土台です。これまでのSakana Namazuは、海外のオープンモデルを日本の利用者向けに事後学習したモデルでした。Sawaraはほかのモデルをもとにしないので、学習データや学習の手法まで、すべてを自社で管理できます。ツールを使った推論、コーディング、長時間の作業を最初から想定した設計で、同社はこれを「エージェント・ネイティブ」と呼んでいます。

「最も速く価値を失う資産」を、なぜ作るのか

David Ha CEOは同じシンポジウムで、基盤モデルは「人類史上もっとも速く価値を失う金融資産の一つ」という持論を語りました。モデルを作る会社の代表としては悩ましい言葉ですが、それでも作る理由を、秋葉拓哉チーフサイエンティストは2つ挙げました。

1つは、作りやすくなったことです。オープンモデルが強くなり、データや学習のレシピ、ソフトウェアが手に入りやすくなって、費用が下がりました。もう1つは、特化が効くようになったことです。自社のツールや業務に合わせて追加の学習をしたモデルが、汎用のモデルを上回ることもあるとしています。

同社が掲げる3本の柱のうち、モデルの組み合わせはSakana Fuguが、事後学習はNamazuが担います。Sawaraは、残る事前学習を埋めるモデルです。

もう1つの役割は、研究の土台です。モデルと学習のレシピをすべて把握できれば、AIによるAI開発の範囲を広げられるという考えで、Sawaraの次の版をSawaraの助けで作ることも視野にあります。¹

大きさも日本語の性能も、まだ分からない

レポートから分かるのは、時期と狙いまでです。秋葉氏も、開発中で話せることは多くないとしています。パラメーター数、学習データ、ライセンス、日本語の性能は示されていません。「小規模」がどのくらいの大きさを指すのかも不明で、名前も仮のままです。

事前学習はこれから始まるので、2027年春という時期にも「順調に進めば」の条件が付きます。重みが公開されれば、日本の会社のモデルを自社のサーバーで動かす選択肢がひとつ増えます。ただ、仕事で使えるかどうかはライセンスしだいです。公開されたら、まずライセンスと日本語の性能を確かめるのがよいかもしれません。

YOBITSUGI AIでは、Sakana AIのSakana Namazu、Fugu Max、Fugu Ultraを使えます。Sawaraは開発中で、現時点の対応モデルには含まれていません。