ネイティブ環境でビルドするのにv3と手順は変わらないものの、新たにnpmというJavaScript用のパッケージ管理が用いられるようになったので、別途aptでインストールしました。
またこのパッケージシステムのレジストラのホストがnpmからアクセスできずにビルドでエラーになってしましました。
対処方法はいくつかありますが、小手先だけ何とかならやはりこの記事のhostsファイルに一時的にIPv4アドレスを追加して回避しました。（その後のためにビルド後は追加業はコメントアウト）
backendのllama-cppもいつも通り、一部のmake関連ファイルを修正してビルド。
そのと他はおいおい…
で、チャットを試してみましたが、エージェントの機能などが統合されている感じなのと全体的なWebUI周りが洗練されてきた感じです。文字だけのチャットなら問題は無さそうですが、マルチモーダル的なことを行うと永遠とThinkingになったまま帰ってこなくなるという感じ。ストリームのストップをかけると表面上停止したかに見えてもがっつり動いたままになります。model(backend)の再起動が行われるまで動いているのと、どこかで処理がおかしくなっているのかみるみるスワップファイルが肥大化してシステム全体がかなり不安定になりました。いままで放置していたswapファイルを止めるだけでも良かったのですが、zramをインストールしてメモリの一部を割り当てておきました。
モデルのパラメータを変更するのがチャット画面から変更できるようになって、パラメータのセーブをすると再起動まで綺麗に行ってくれるので、これだけでもv4.0.0はいいかもしれません。（本来は他の機能が魅力なんでしょうけど…ｗ）
0 件のコメント:
コメントを投稿