2026年4月16日木曜日

llama.cpp b8809 [SYCL]のQ8_0のバグ修正

Q8_0って結構好んでるモデルですね…でもQ4とかほかのものもおかしい気が… 

[SYCL] Fix Q8_0 reorder: garbage on 2nd prompt + crash on full VRAM (#21638)
[SYCL] Fix Q8_0 reorder: add missing dequantize path for GEMM

そもそもこのコード修正すでにAIが行ってるんですか?すごいですね…としか言えない…というかめちゃ怖いw

まぁでもなぁ…頼んだら修正までやってくれたら便利だよなぁ…(笑)

一番欲してる部分(面白みが全くない部分)は、個人的にmake系のスクリプトの調整だよなぁ…。いろいろ知れる点はいいけど、正直楽しくはない…w

でもなんかこう書かれると動きとかも変わってきそうだな…Q8_0だけなのかどうか知りたいところだけど。 

0 件のコメント:

コメントを投稿