なんかこちらもホットなllama.cppフォークの様で…kvキャッシュの量子化で小さくすることで高速化するとか。確かに…
2026年4月15日水曜日
cpuのみで動作させてるはずなのに、xpu-smiが表示される。
htopでcpuとメモリーの監視を行いながら、動作確認を行っているとなぜかxpu-msiというプロセスが動いていることに気づきました。
2026年4月14日火曜日
MedGemma1.5が日本語で推論しはじめた！？
しまい込む前にモデルの設定ファイル(.yaml)のF16: falseにしたり効果はないもののreasoning: disable: true にして、ちょっと真面目に？聞いてみました。
肥大化したモデルファイルを整理しようとしてるのに、なぜか増える件について…
闇雲に生成AIに触れながらいろいろ試しているうちに、結構肥大化してきたので整理しようとしてるのですが、何故か増えてるんですよ…
登録:
コメント (Atom)