まず1Step目の処理の間、消費電力が１５Wとか表示の上で１７Wとかも飛び出したことも。
しかもCPU温度が正直見たことのない８５度を超えるような温度とか…壊れないかな？壊れないよね😅
そして２Step目以降はちゃんと１０W前後の見慣れた消費電力にCPUも安定の６４度とか６２度とか安心する温度に。
なんかヤバそうな問題だから多少実効速度がおとてもいいから対処方法を知りたい…CPUスレッドを減らして対処してもいいかもな…
２つ目の気になるポイントは、GPUで実行する時のメモリ消費量が倍化してる気がする問題。
モデルをオフロードするとか言う表現が未だにしっくりきてなかったりしますが、ふつうに考えると１つのテンソルレイヤ分の大きさはメインメモリとGPUメモリに２重持ちしないとだめではないかとは思うんですが、感覚としてモデル丸ごと二重持ちしてる気がします。
しかしCPU単体で動かすと、これがそこまで大きくならない。と、いうかモデルのファイルサイズ分の綺麗に消費してる感じです。
先日llama.cppでファイルから直接GPUメモリーにロードできるようにしたとかそんな記憶がありますが、その辺の実装も気になるのと、それは各GPUで対応する必要があるのか無いのかとか…
メモリー消費量は結構直近でスッキリさせたいところですかねぇ…でもハード的に熱問題もｗ
0 件のコメント:
コメントを投稿