Q8_0って結構好んでるモデルですね…でもQ4とかほかのものもおかしい気が…
[SYCL] Fix Q8_0 reorder: garbage on 2nd prompt + crash on full VRAM (#21638)
[SYCL] Fix Q8_0 reorder: add missing dequantize path for GEMM
そもそもこのコード修正すでにAIが行ってるんですか?すごいですね…としか言えない…というかめちゃ怖いw
まぁでもなぁ…頼んだら修正までやってくれたら便利だよなぁ…(笑)
一番欲してる部分(面白みが全くない部分)は、個人的にmake系のスクリプトの調整だよなぁ…。いろいろ知れる点はいいけど、正直楽しくはない…w
でもなんかこう書かれると動きとかも変わってきそうだな…Q8_0だけなのかどうか知りたいところだけど。
0 件のコメント:
コメントを投稿