OllamaのRakuten AI 2.0 mini instruct

localAIでいろいろと納得いかず、WindowsにOllamaをインストールして確認してます。

Ollamaのインストーラーもいつの間にか2G近いサイズになっていて驚きました。

インストールしたら、コマンドプロンプトでモデルのインストール。 

> ollama pull hf.co/mmnga/RakutenAI-2.0-mini-instruct-gguf:Q8_0

ほんと、コマンドラインの履歴が残ってて助かりました…ｗ

ダウンロードしたggufを手作業で設定するのは良く分からないので、悩んだらpullするのが早いです。ollamaにインストールしたモデルは ollama ls とかで一覧は出るし、おそらくollama rm とかやればモデルの削除も簡単にできる感じがします。何も考えずに遊べますねｗ

とは言え、現状ではWindows版だとintelのGPUが対応していないのでCPUのみの動作となり、非力なPCでは悲惨なことに…ｗ まぁ軽いモデルなら、そこまで気にしなくていいかもしれませんが、軽いと思っていたRakuten AI 2.0 mini instructでもガッツリ固まりまくりでした…。

で、チャットしてみると結構まともにチャットできるんです。いきなり「konbanha」とか打ち込むとエラーメッセージのような感じの応答があったりしますが、まぁ「こんばんは」とか入力すると、それなりの話題作りのような導入があったり、それなりのRakuten AI 2.0 miniらしさ が見えます。

会話もちゃんと繋がってる感じがするし、いい感じでした。

そして見えてくる道具としてのAI感。世代が古いとはいえ、おそらく周回遅れ感はするものの、道具としてみると悪くないかなとも感じる。挨拶から会話を始めると極端に不安定になるのは致し方がないところかな？

Ollamaのチャットインタフェースだと、システムプロンプトが設定できないのが残念なんですよね…