LocalAI v4.2.4 なんか収集つかなくなってそう…

昨日の昼の時点で4.2.3がリリースされていることに気づき、夜には4.2.4のリリース。
で、手元の環境で動かしてみたのですがチャットを試していますがなんか節々がダメそうｗ

llama-cppをmakeした時点でbackend/cpp/llama-cpp/grpcserver.cppが現行のlocal-aiで使用しているgrpcサーバーと不一致な状態なのでエラーで止まってしまうので、masterからソースを引っ張ってmakeしました。

実行時はlocal-aiのポリシー変更で、そのまま起動しようとすると起動拒否で停止するようになっちゃいましたｗ

When auth is disabled, the server has no idea who is calling it — every model,
gallery install, settings change, and admin endpoint is reachable by anyone
who can connect to the port. That is acceptable on a loopback, LAN, or VPN
address but not on a public IP.

Pick one:
  1. Bind to a private/LAN/VPN interface only (e.g. --address 10.0.0.5:8080)
  2. Enable user authentication:   --auth (or LOCALAI_AUTH=true), then sign in
  3. Set a static API key:         --api-keys <key> (LOCALAI_API_KEY=<key>)
  4. Allow the public bind anyway: --allow-insecure-public-bind (only when an
                                   external system is gating access to this
                                   listener)
起動時のパラメータに --allow-insecure-public-bindを追加すれば強制的に今まで通り起動はしますが、ちゃんとしなさいって事でしょうね。

実際にチャットをしてみましたが、起動の初回時にやたら時間がかかります。4.1.3でもそんな傾向があったような気もしますが、処理が一回りするまでなんか空ぶってる感じです。

さらにmmprojを認識していてもモデルまで絵が届かないか、チャットテンプレートが無効化されているのかは謎ですが、

「申し訳ありませんが、**私は画像の内容を直接見ることはできません。** したがって、この画像について具体的に「教えて」することは不可能です。」 

とモデルから言われてしまう状況に…

llama.cppのoneAPIへの対応が行われてメモリー関連のテコ入れが入っているっぽいので様子を見たかったのですが、そこまで行き着くことが難しいかも。チャット回りも本当は「入力済みのテキスト」の変更を行えるようにしてほしいんですが…。なんか違う方向にベクトルが向いているみたいですね。

設定周りもテコ入れされているのですが、モデルの再起動も行われていないような気がするし、いろいろ操作がアレな感じにｗ 

もう少し落ち着くまで様子を見るのがいいのかな？