とてつもなく不毛なことを実行している気分ですw量子化 Q3とかQ2とか使っているのにとても時間がかかっております(笑)
昨日は真っ白画像と格闘しつつ、安定して出力できていますが、量子化の劣化によるものか、QwenImageの特性なのか、思った以上にプロンプトの指示が通りません。中国語じゃないとダメなのかな?
メモやら記録やら
とてつもなく不毛なことを実行している気分ですw量子化 Q3とかQ2とか使っているのにとても時間がかかっております(笑)
昨日は真っ白画像と格闘しつつ、安定して出力できていますが、量子化の劣化によるものか、QwenImageの特性なのか、思った以上にプロンプトの指示が通りません。中国語じゃないとダメなのかな?
Visual Studio 2022は既にインストール済みなので、Windowsネイティブでllama.cppを動かすのは簡単だと思っていたのですが…結構大変そうですw
llama.cppのdocs/build.mdを読んでいていまさらながらに気づいたことが…
Intel oneMKL
Building through oneAPI compilers will make avx_vnni instruction set available for intel processors that do not support avx512 and avx512_vnni. Please note that this build config does not support Intel GPU. For Intel GPU support, please refer to llama.cpp for SYCL.
インテル oneMKL
oneAPIコンパイラを介して構築することで、avx512およびavx512_vnniをサポートしていないIntelプロセッサ向けにavx_vnniの命令セットが利用可能になります。このビルド構成はIntel GPUをサポートしていません。Intel GPU のサポートについては、SYCL 版 llama.cpp をご参照ください。
??もしかしてavx2ではなくてavx512も動かせるっていう事??
こ、これはぜひ試してみたいものです。これができるなら消費電力や発熱問題は出てきそうですが、チャットのレスポンスが上がるかも?
生成AIとチャットで遊ぶために、遊び用のやっすいミニpcを用意する。
環境を整える。
環境が整ってどんな感じかわかってくる。
どんな感じかわかってきたのでチャット以外も手を出す。
やっすいミニPCなので画像生成だけでも作業を行うと他のモデルすら動かせずプロンプト作成に別のモデルを使うことができない。
軽いモデルでいいからいつも使ってるやっすいネットブックで動かそうとする。(←今ここ)
という経緯となっていますが、最初からそれ用のPC用意すればよかったんじゃね?的な(笑)
当初は単独のモデルファイルで動くものと思っていた画像生成。
ただチャットするだけでも分離されているmmprojとかと同様に、現状画像生成は一般的な使用方法としては各機能を分離させて扱うようで、低スペックな環境だとトレードオフによって結果がかなり変わってくるので面白いですねw
Qwen ImageもQ4ぐらいなら余裕で動かせるだろうと、思っていたのですが、実際はこれにllmモデルも必要で…しかも画像サイズを大きくするとメモリーを爆食いするのでそのへんも考慮するとできる限り量子化したモデルにして何とか動くかなレベルになってしまうという(笑)
当初はQ2モデルなんてほとんど動かすことは無いだろうと思ってましたが、とりあえず動かしてどんなものか見てみたいという好奇心が全てを凌駕し、手を出してしまいました。
最近だと同系列のQwen 3.6 35B A3BモデルでQ2を使用したら、結構使えたので最近のモデルならいけそうかなと言う感触を得たのですが、Qwen Imageって結構昔のモデルだったりするんですよね…。なのでどの程度なのかかなり未知数でしたが、それなりに出力させることができました。ただ、Flux.1-schnellに慣れてしまったのか画像が生成までの時間がとても厳しく…w
で、それでも何枚か出力させていたのですが、途中から突然真っ白画像が出力されるように…一番に疑ったのが、ストレージの空き容量ですが、今回はそれとは違っていて、画像サイズを変えたり、パラメータを変更したり、出力できたパラメータにしたりとしたのですが、7枚も白紙の画像が作られました。低スペックなのでこれだけで軽く5,6時間かかってます(笑)step20の画像が真っ白だった時とか精神的に結構やられました。
初心に戻ってstable-diffusion.cpp/docs/qwen_image.mdを見直してみると最後に --diffusion-faとついていることに気づきました。
真っ白な画像が出力される状況は今までもvaeをGPUで動かしたときにも発生し、--faを追加すると出力できたことがあるのですが、--faを使うと時間がかかるので、あまり使いたくはないオプションとなっています。なのですが、藁にも縋る想いで --diffusion-faを追加したところようやく画像が出力されました。
--diffusion-faを付けなくても出力できていたのは偶然だったのかな…
ちょっと表現で面白いことはできないだろうか?という事でFlux.1で試してみました。
最初はschnellで。
試したことは、ふとジェイソンボーンという単語が頭に過り、骨…骸骨、スケルトン!
と言う感じになんかモンスターでも出てきたら面白いかなと…