2026年4月16日木曜日

llama.cpp b8809 [SYCL]のQ8_0のバグ修正

Q8_0って結構好んでるモデルですね…でもQ4とかほかのものもおかしい気が… 

[SYCL] Fix Q8_0 reorder: garbage on 2nd prompt + crash on full VRAM
[SYCL] Fix Q8_0 reorder: add missing dequantize path for GEMM
SYCL: add RAII temp buffer class + macro guard for host fallback
SYCL: document GGML_SYCL_HOST_MEM_FALLBACK build option in SYCL.md
SYCL: add reorder-aware DMMV dequantizers for Q4_K and Q6_K

そもそもこのコード修正すでにAIが行ってるんですか?すごいですね…としか言えない…というかめちゃ怖いw

まぁでもなぁ…頼んだら修正までやってくれたら便利だよなぁ…(笑)

一番欲してる部分(面白みが全くない部分)は、個人的にmake系のスクリプトの調整だよなぁ…。いろいろ知れる点はいいけど、正直楽しくはない…w

でもなんかこう書かれると動きとかも変わってきそうだな…Q8_0だけなのかどうか知りたいところだけど。 

(追記5:23)最初[]で括られた2点だけだと思ったんですが、表記ゆれがあるだけで他の3点も修正対応したものですね。
makeかけてGemma4 26B A4Bモデルでチャットで確認した範囲では安定してそうです。が…肝心のQ8_0じゃなくてF16モデルだったりします…wイミネーw

Gemma3/3n、そしてvision機能を使って全体的な安定性を見てみたいかな…

0 件のコメント:

コメントを投稿