Q8_0って結構好んでるモデルですね…でもQ4とかほかのものもおかしい気が…
[SYCL] Fix Q8_0 reorder: garbage on 2nd prompt + crash on full VRAM
[SYCL] Fix Q8_0 reorder: add missing dequantize path for GEMM
SYCL: add RAII temp buffer class + macro guard for host fallback
SYCL: document GGML_SYCL_HOST_MEM_FALLBACK build option in SYCL.md
SYCL: add reorder-aware DMMV dequantizers for Q4_K and Q6_K
そもそもこのコード修正すでにAIが行ってるんですか?すごいですね…としか言えない…というかめちゃ怖いw
まぁでもなぁ…頼んだら修正までやってくれたら便利だよなぁ…(笑)
一番欲してる部分(面白みが全くない部分)は、個人的にmake系のスクリプトの調整だよなぁ…。いろいろ知れる点はいいけど、正直楽しくはない…w
でもなんかこう書かれると動きとかも変わってきそうだな…Q8_0だけなのかどうか知りたいところだけど。
(追記5:23)最初[]で括られた2点だけだと思ったんですが、表記ゆれがあるだけで他の3点も修正対応したものですね。
makeかけてGemma4 26B A4Bモデルでチャットで確認した範囲では安定してそうです。が…肝心のQ8_0じゃなくてF16モデルだったりします…wイミネーw
Gemma3/3n、そしてvision機能を使って全体的な安定性を見てみたいかな…
0 件のコメント:
コメントを投稿