Siriuth's Diary: Rakuten AI 2.0 mini

ラベル Rakuten AI 2.0 mini の投稿を表示しています。すべての投稿を表示

2026年3月30日月曜日

Qwen3.5とか出てるならgemmaの方は何かないのかな？とちょっと見てて

Gemma のリリースを見てました。シリーズとしてはLLMだけではなく、その他ツールも含まれていて今まで全く知らなかったMedGemmaなるものが。

2025/03/10にGemma3がリリースされた後、二か月後の2025/05/20にMedGemma、その翌月となる2025/06/25にGemma3nがリリースされていたようですが、MedGemmaなんて本当に知りませんでしたよ。

結構試行錯誤の末になんとなくまともに動くようになった感じです。（contextの大きさなども含め動くだけの設定ですが。）

色々と試行錯誤してみると細かいところでlocalAIの中身がわからないのでソースを見ながら調整していました。

おもに.yamlファイルのtemplateを調整していたのですが、結局のところ何も考えなければ、

options:
- use_jinja: true

と設定すればllama-cppでgguf内の定義体からtokenizer.chat_templateをつかってプロンプトをいい感じに扱うようになりました。

localAIでいろいろと納得いかず、WindowsにOllamaをインストールして確認してます。

Ollamaのインストーラーもいつの間にか2G近いサイズになっていて驚きました。

インストールしたら、コマンドプロンプトでモデルのインストール。

> ollama pull hf.co/mmnga/RakutenAI-2.0-mini-instruct-gguf:Q8_0

ほんと、コマンドラインの履歴が残ってて助かりました…ｗ