llama.cpp on windows

結構簡単に考えていたwindows環境での実行ですが、結論から言えばバイナリー配布を素直に使うべしですね(笑)

恒例のfish画像ｗ

そう言えば適当なプロンプトが増えていて単純な「fish」という単語だけで画像生成するのを忘れてました(笑)

LocalAI v4.3.1

サクッとアップされていますね(笑)主な変更点はバックエンドの最新バージョンへの差し替えがいつくかあるのと、バックエンドのkokoroの修正でした。 

LocalAI v4.3.0 リリース

v4.2.6がリリースされて約１週間。ようやく落ち着いたと思った後、小数点1桁がupされました。

結構気になるのがllama-cppのプロンプトキャッシュをデフォルトで有効にしたとのこと。（逆になぜ今まで無効にしていたのかと…）ちょっと試してみたいですね。

他にも結構テコ入れされていると思いますので試してみたいかな。 

llama-bench

ただ何らかの結果が欲しければ、単純に適当なモデルを選んで実行するだけでした。

もともとの性能が低いのであれですが、こんな感じで出力されました。