LocalAIの小数点のバージョンアップは大体１ヵ月ぐらいなんでしょうかね。
3.10がタグ付けされたのは昨日知ったのですが、本体のビルドは何の問題もなく済むようになりました。backendはまだllama-cppぐらいしか行けてない感じですが、それでもdockerを挟まなくていいのと、CPUと機GPUを同時に使う形になる様に小手先の調整をしたりして試しています。
バージョンアップは能的に何が変わっているというのは毎回悩みどころだったりしますが、今回は各dockerイメージが統一化しているようです。（すでに使ってないのでわかりませんが）
今のところ、できる限り仮想化させずに動作させている都合上、結果的にbackendsからインストールする形ではなく、backend内のビルドスクリプトを整備して起動時にLOCALAI_EXTERNAL_GRPC_BACKENDSに設定して動作させる形で落ち着いています。
0 件のコメント:
コメントを投稿