gemma4って結構便利？

toolsの機能自体はあまり積極的に動かさないようなのですが、時間がかかっても構わないからデバッグログの解析をgemma4でやってもらおうとチャット形式で指示してみました。

デバッグの出力ログはstable-diffusion.cppのsyclの出力なので非常に大きいです(笑)

ざっくり見てもそれなりにどんな機能が動いているのかはわかるのですが、各関数がどの程度動いているのかボリューム感までは把握しづらい面もあり、お試しで試してみることにしました。

stable-diffusion.cpp FLUX 3 Image Klein

昨日、llama.cpp serverのtoolsで少し試していましたが、思っている通りに動作してくれないのであきらめてこちらを試してみました(笑)

masterブランチの現時点でコミットされている状態でpullしてcmakeでバイナリを作成。必要なモデルファイルをダウンロードして、実行するだけでtext-to-imageの動作は確認できました。

量子化は小さめのQ3_Mを最初に選んで…vaeはそのまま、llmはQ8_0の物で試してみました。

量子かはQ4ぐらいまでにしておきたいのですが、最近扱っていたモデルはQ2まで落とさないとメモリー的に出力サイズがかなり制限されてしまうため、サイズが小さいものを使っています。正直Q2まで落としてしまうと輪郭も怪しい感じに出力されてしまうので（この辺は量子化による劣化対策でCFG(やシグマ値)を推奨値ではなく、微調整する必要がありそう）Q3モデルを使ったところ、それなりの劣化はあるものの、ギリギリ判断可能な感じなので最近よく使うようになりました…ｗ

最初にllmのモデルを8Bのもの(Qwen Image 2.1 turboで使用していたもの)を指定してしまい、いきなり

/home/siriuth/ggml_sycl_patch/src/ggml.c:3366: GGML_ASSERT(ggml_can_mul_mat(a, b)) failed
で停止されましたｗ

このあとに、gdbの出力と思われるものが出力されていました。gdbで実行していないはずなのですが、この辺のフックはどの様に行われてるのか…謎ですが、現状はあまり関係ないのでスルーします…

改めて、4Bのモデルの物を指定して実行したところ素直に動きました。

何も考えず、画像サイズは512x512で出力させましたが、どうも細部がいろいろおかしい感じです。量子化モデルを実行しているのが主な原因ではあるものの、出力サイズが小さいのも問題なのかもしれないという事で、1024x1024に変更して出力させてみました。

1024x1024でも（時間はかかってますがｗ）問題なく出力されました。 

サイズを大きくすると不自然な部分が減りましたが、やはりおかしな部分は多々あります。このへんは量子化の影響と言う感じがします。

時間がかかるので、少しサイズを小さくして1024x736で出力してみたところ、vae出力の段階でエラーになってしまいました。
[I] loading tensors completed, taking 0.60s (read: 0.43s, memcpy: 0.00s, convert: 0.03s, copy_to_backend: 0.00s) --- model_loader.cpp:1405
Killed

Qwen Image 2.1 turboでは端数丸め処理で736にされてしまっていたのですが、こちらは違う感じなのかな？ログ出力を出していないので原因はさっぱりわかりませんが。

とりあえずFLUX3.Image Kleinの動作確認が取れてよかった。

ちなみに、N150でSYCLで512x512で20分、1024x1024で1時間程度かかりました…。 

llama.cpp serverのtoolsで少し試してみました

ローカル環境でチャットだけで遊びたかっただけで始めた最初のとっかかりはlocalAIでした。良くも悪くも色々と知らない環境を知る上でとても貴重な体験ができました。

llama.cppはそんなlocalAIの中で知った（名前だけは見かけた物の現物がどんなものかは知りませんでした）ものの一つです。

stable-diffusion.cpp で今日気づいた事

のんびりとN150で遊んでいるだけなのですが、昨日からようやく最新のソースから（それなりの制限はあるものの）cmakeできるようになりました。

stable-diffusion.cpp SYCLで動いた♪

一部機能をOFFにした状態でcmakeは通っていたのですが、さくっと処理の途中でエラーが発生して出力までたどり着かなかった（これが昨日まで）ので、じっくりと関連する部分のソースや、デバッグ出力を追加したりして動作確認をしていました。