2026年5月10日日曜日

LocalAI backend llama-cpp

LocalAIのリリースが行われないかと今か今かと待っている人間です…内部が結構拡張されているのでそろそろリリースされるかと期待して、早10日…なしのつぶてです😢

とは言え、llama.cppのSYCLの実装がとても気になるので久しぶりにmakeをかけたらエラーになってしまいました。serverも結構いじられてたなぁ…とか思い出しつつもLocalAIのmasterにcommitされているソースは既に対応済みのようなので 

feat(llama-cpp): bump to d775992 and adapt to spec params refactor (#9618) Commit c02a50f

を今まで変更した物へ反映させました。llama.cpp b9090にしてもうしばらくv4.1.3ベースで戦えそうです…

そろそろmasterをベースにした方がいいのかな… 

  

0 件のコメント:

コメントを投稿