紆余曲折あったものの、なんちゃってavx512であるoneMKL版のmakeが通りました。
期待して実行してみた物の、なんかめっちゃくちゃ出力が遅い…。
いったん終了し、バージョンはちょっと違うもののバイナリを直接ダウンロードした普通のcpu版を実行してみる。
いつものあいさつと、自身の説明を行ってもらった結果
今回makeしたもの
[ Prompt: 1.5 t/s | Generation: 0.7 t/s ][ Prompt: 3.7 t/s | Generation: 0.7 t/s ]
バイナリをダウンロードしたもの
[ Prompt: 3.6 t/s | Generation: 3.0 t/s ][ Prompt: 3.7 t/s | Generation: 1.2 t/s ]
数字だけ見るとこんな感じです。
バイナリをダウンロードしたものの実行中にちょっと他の事をやっていたので、そちらが足を引っ張ってしまった感じはありますが、予想ではoneMKL版は1.3倍ぐらい早くなって欲しかったのですが…。
推論中の速度が変わっていないところを見ると、avx512は有効になっていない可能性が高いですね…。このCPUはダメなのかな？さらに速度が落ちている原因は…何でしょうね？
0 件のコメント:
コメントを投稿