llama.cpp sycl-patch

stable-diffusion.cppでパッチを当てていたものをllama.cpp側に当てた形にしておきました。

stable-diffusion.cppでは簡単にハングアップしますが、llama.cppの場合、少し使っている程度ではハングアップすることはあまりありませんが、それでもだらだらとチャットしたりしてるとハングアップします(笑)

動作速度はどうなんでしょうかね…ただ、GPUですべて処理させた場合のレスポンスは改善してる感じがするのと、CPU側の処理が素の状態と比べると使用率の低下と消費電力の低下は確認できたので、それなりに効果はある気がします。

-nglや-tを指定せずに動かすとそれなりに動いてしまうので単純比較は中身が分かっていないとパッと見判断が難しいですね。

https://github.com/siriuth/llama.cpp/releases/tag/base-b10375