チャットテンプレート部分を置き換えて何も設定せずに動かしてみるとそれなりに重かったので、GPUオフロード周りの設定をして「こんにちは」と話しかけると、システムプロンプトが空のままだったので動作不安定だったのですが、何度かパラメータをいじって試していると突然…
localAIで動かしたような気もするのですが、今の状態だとまともにチャットすらできない状態でした。windowsのOllamaで動かして満足してしまったのかもしれないなぁ…。
localAIで動かしてみようと試しながら寝てしまったのですが、起きてから少しあがいてみました。
楽天、「GENIACプロジェクト」の一環として開発された国内最大規模の高性能AIモデル「Rakuten AI 3.0」を提供開始
LocalAI v4.0.0のmmproj系のモジュールの動作がおかしいのでv3.12.1ベースに切り替えられる環境整備とmmprojの入手先か作成方法を調べていました。とりあえずgemma3n-e4b-itのmmprojを見つけたので、他のものもぼちぼち探してみるかと…見ているとタイトル通りの事が…。
ちょっと興味津々です。
で、ちょっと見ていましたが、ベースモデルが673G…嫌な予感しかしません(笑)
Quantizedされたものも公開されていましたが、2bitですら244Gです。ん～手出しできそうにありません。
どれだけ学習させたのでしょうね…。と、言うか、めちゃくちゃ期待するんですが…mini版が出てくるの待ちかな。
