Windowsでllama.cppのmakeで蹴躓いているわけですが…

Visual Studio 2022は既にインストール済みなので、Windowsネイティブでllama.cppを動かすのは簡単だと思っていたのですが…結構大変そうですｗ

llama.cppのdocs/build.mdを読んでいていまさらながらに気づいたことが…

Intel oneMKL

Building through oneAPI compilers will make avx_vnni instruction set available for intel processors that do not support avx512 and avx512_vnni. Please note that this build config does not support Intel GPU. For Intel GPU support, please refer to llama.cpp for SYCL. 

インテル oneMKL

oneAPIコンパイラを介して構築することで、avx512およびavx512_vnniをサポートしていないIntelプロセッサ向けにavx_vnniの命令セットが利用可能になります。このビルド構成はIntel GPUをサポートしていません。Intel GPU のサポートについては、SYCL 版 llama.cpp をご参照ください。

？？もしかしてavx2ではなくてavx512も動かせるっていう事？？

こ、これはぜひ試してみたいものです。これができるなら消費電力や発熱問題は出てきそうですが、チャットのレスポンスが上がるかも？ 

本末転倒？

生成AIとチャットで遊ぶために、遊び用のやっすいミニpcを用意する。

環境を整える。

環境が整ってどんな感じかわかってくる。

どんな感じかわかってきたのでチャット以外も手を出す。

やっすいミニPCなので画像生成だけでも作業を行うと他のモデルすら動かせずプロンプト作成に別のモデルを使うことができない。

軽いモデルでいいからいつも使ってるやっすいネットブックで動かそうとする。（←今ここ） 

という経緯となっていますが、最初からそれ用のPC用意すればよかったんじゃね？的な(笑) 

Qwen Image 2512

当初は単独のモデルファイルで動くものと思っていた画像生成。

ただチャットするだけでも分離されているmmprojとかと同様に、現状画像生成は一般的な使用方法としては各機能を分離させて扱うようで、低スペックな環境だとトレードオフによって結果がかなり変わってくるので面白いですねｗ

Qwen ImageもQ4ぐらいなら余裕で動かせるだろうと、思っていたのですが、実際はこれにllmモデルも必要で…しかも画像サイズを大きくするとメモリーを爆食いするのでそのへんも考慮するとできる限り量子化したモデルにして何とか動くかなレベルになってしまうという(笑)

当初はQ2モデルなんてほとんど動かすことは無いだろうと思ってましたが、とりあえず動かしてどんなものか見てみたいという好奇心が全てを凌駕し、手を出してしまいました。

最近だと同系列のQwen 3.6 35B A3BモデルでQ2を使用したら、結構使えたので最近のモデルならいけそうかなと言う感触を得たのですが、Qwen Imageって結構昔のモデルだったりするんですよね…。なのでどの程度なのかかなり未知数でしたが、それなりに出力させることができました。ただ、Flux.1-schnellに慣れてしまったのか画像が生成までの時間がとても厳しく…ｗ

で、それでも何枚か出力させていたのですが、途中から突然真っ白画像が出力されるように…一番に疑ったのが、ストレージの空き容量ですが、今回はそれとは違っていて、画像サイズを変えたり、パラメータを変更したり、出力できたパラメータにしたりとしたのですが、7枚も白紙の画像が作られました。低スペックなのでこれだけで軽く５，６時間かかってます(笑)step20の画像が真っ白だった時とか精神的に結構やられました。

初心に戻ってstable-diffusion.cpp/docs/qwen_image.mdを見直してみると最後に --diffusion-faとついていることに気づきました。 

真っ白な画像が出力される状況は今までもvaeをGPUで動かしたときにも発生し、--faを追加すると出力できたことがあるのですが、--faを使うと時間がかかるので、あまり使いたくはないオプションとなっています。なのですが、藁にも縋る想いで --diffusion-faを追加したところようやく画像が出力されました。

--diffusion-faを付けなくても出力できていたのは偶然だったのかな… 

違うんだ。そうじゃないｗ

ちょっと表現で面白いことはできないだろうか？という事でFlux.1で試してみました。

最初はschnellで。

試したことは、ふとジェイソンボーンという単語が頭に過り、骨…骸骨、スケルトン！

と言う感じになんかモンスターでも出てきたら面白いかなと…

あれ？Flux.2動かない？

色々と試行錯誤している最中ですが、巷ではすでにFlux.1の話題はすでに終了していてFlux.2に移行しているようです。

Flux.1に出てくる人物モデルのレパートリーが少ない気がするような？と、一般的なちゃんとした環境をそろえている方はおそらく物足りなくなっているのかな？とは感じます。

しかもFlux.2の生成スピードはほんの数秒で生成できるらしいような記事も見かけます。（まぁ今の環境だと単位が一つ違うのでそれでも数分で出力されたらそれはそれで驚異的なわけで…）