SYCL 最大グループサイズ

検索したらこんなQAがありました。

自動翻訳の上、言葉を良く分かってないのですが、やはり上限は今どきの環境としては低い数字ですね。

Question about max group size

max_work_group_size is 1024
max_work_item_sizes is (64, 1024, 1024)

実行環境でこの辺の値は変わってくるはずですが、64が上限値だと256に設定したのはまずいカモ。しかもggml_sycl_compute_forward内部で処理が増える可能性も考慮すると何とも言えない感じに…ｗ

現状ではノード数が（番号は結構抜けているものの）5810とか出てるので、1024では足りてないのは明白…本気で修正しようとすると結構いろいろ考慮しないとダメそうなのと、もしかすると仕様として定義しないとダメって感じ。CUDAだとこの辺問題ないのかな？

まぁ、個人使用なら現状の暫定強制パッチで十分の様です。llama.cpp側にもおそらく同様の問題を孕んでいるのでSYCLだとハングしていましたが、それも止められる可能性が高いです。