.safetensorsのggufへの変換

一般的なllmであれば、llama.cppのconvert_hf_to_gguf.pyが一番なのは間違いなさそうですが、実際にやりたいのはstable-diffusionで使用するclipなんとかとか、t5なんとかの.safetensorsで正直中身がどうなってるのか良く分かってない。

stablediffusion-ggml で F16をfalseにしたらヤバかったｗ

とりあえず、llama-cpp側のF16の件が自分の中で落ち着いた（詳細は見ていないが固定値でせっていしても変化が分からなかった）のと、画像を渡しても落ちなくなったので、先週ぶりにstablediffusion-ggmlをもう少し触ってみようかと。

設定のyamlが動くようにはなっていたものの、なんだか全く記憶に残ってない…。

なんかF16の設定もあってfalseになってるみたいだからとりあえず画像作成してみましょうかね…一番ちっちゃいさいずならかかっても5分で終わるでしょう…時間がかかる…のは仕方がないですｗ

llama-cpp llama.cpp(b8954)

llama.cppのリリースを確認していたところ、気になるリリースが上がってました。

以前、Qwen3.5とか3.6で認識できない（というか処理が進まなくなる）画像が認識できるようになりました。全部が全部、と言うわけではなく、特定の画像を見てもらうと処理が止まるというだけだったのですが。

ただ、その後、llama-cppの動作が不安定に陥るので、それが解消されたと思っていいのかな？

llama.cpp でコンパイルしててシステムがフリーズｗ

昨日になりますが、llama.cppを素の状態で動かして動作確認したかったのでmakeをかけてみました。

その途中で別のコンソールを立ち上げて接続すると、Ubuntuのaptのアップデートが20件以上あるというメッセージが…。とりあえず見なかったことにして作業を進めていたのですが…

そう言えばqwen3.6 35B A3Bについての雑感

メモリが16GB程度しかないと、実際に確実に動くレベルだと量子化でQ3辺りが限界ですかね。それでも、ちゃんとした環境なら動かすだけならメモリも全て収まらなくても動くはずなので。ただ、モデルファイルだけでも結構な存在感ですがｗ