Visual Studio 2022は既にインストール済みなので、Windowsネイティブでllama.cppを動かすのは簡単だと思っていたのですが…結構大変そうですw
llama.cppのdocs/build.mdを読んでいていまさらながらに気づいたことが…
Intel oneMKL
Building through oneAPI compilers will make avx_vnni instruction set available for intel processors that do not support avx512 and avx512_vnni. Please note that this build config does not support Intel GPU. For Intel GPU support, please refer to llama.cpp for SYCL.
インテル oneMKL
oneAPIコンパイラを介して構築することで、avx512およびavx512_vnniをサポートしていないIntelプロセッサ向けにavx_vnniの命令セットが利用可能になります。このビルド構成はIntel GPUをサポートしていません。Intel GPU のサポートについては、SYCL 版 llama.cpp をご参照ください。
??もしかしてavx2ではなくてavx512も動かせるっていう事??
こ、これはぜひ試してみたいものです。これができるなら消費電力や発熱問題は出てきそうですが、チャットのレスポンスが上がるかも?
0 件のコメント:
コメントを投稿