サクッとアップされていますね(笑)主な変更点はバックエンドの最新バージョンへの差し替えがいつくかあるのと、バックエンドのkokoroの修正でした。
v4.3.0でllama-cppをmakeしてチャットで動作を確認していますがいい感じでした。
mmprojも動作しましたし、llama-cppのmakeも最低限で済みました。
残念なのはプロンプトキャッシュが思っていた動作と違っていたところでしょうか。確認はしていませんがおそらくシステムプロンプトまでなのでしょう。
初回起動時の空振り感はありましたが。
あと、終了時に毎回grpcサーバーの起動pid削除でエラーが出てしまうのですが、これはdocker環境であれば問題ないのかな？
0 件のコメント:
コメントを投稿