Siriuth's Diary

2026年5月15日金曜日

昨日の昼の時点で4.2.3がリリースされていることに気づき、夜には4.2.4のリリース。
で、手元の環境で動かしてみたのですがチャットを試していますがなんか節々がダメそうｗ

生成AIがどんなものか全くわからなかったので、本腰を入れて環境整備をする気にもなれず、かと言って生成AIを動かせる最低限のメモリーを積んでいるPCが無かったので、タイムリーに16GiBのメインメモリーを搭載したミニPCが安かったのでぽちっただけで…ｗ

正直CPUもAMDと悩んだんですよ。でも値段の差でN150と言う選択に(笑)

で、そもそもしょぼい環境で遊んでいるのでそれなりに解っているはずでしたが、ちょっと検索したページの記事を見ると

「FP8版の FLUX.1 [dev] を使用して、20 Stepsで生成しています。サイズは 1440x816 です。筆者の環境では生成に125～140 秒程度かかります」

とサクッと書いてあって、1024x1024で20Stepっていうとdevでもschnellでもほぼ時間は変わらず5～6分程度ですので…ざっくり120分(笑)単位が違うｗ

画素数の差は1440x816：1024x1024 ＝ 1,175,040：1,048,576 で少ないにもかかわらず、60倍の差がｗ

FP8版は使ったことがないのでわかりませんけど…そのうち試してみてもいいかな…たしかになんかちっちゃいサイズのモデルが多いなぁとは感じてはいましたが。

そもそも、チャットで遊べればいいだろうという環境なので、その環境で画像を出力させ始めたのが気の迷いだったという事を思い出させていただきましたｗ

今までとてもデリケートなイメージのSYCLですが、ほぼほぼ安定しているので処理が軽いイメージのsycl-16で動かしてみようかと。

で、1024x1024のサイズの出力をしていて、ターミナルのフォントなどを調節しながらいろいろ試していいるうちに気づいたら結構時間がたってて、動作確認すると落ちてました…

そういえばggmlとかllama.cppって同時に起動して、どれもGPUを使用した場合はどうなるんでしょうね？

SYCLの場合はオーバーフロー問題があるので、根本的に解決しないとダメだと思いますが、メモリーがもてば、ちゃんと動いちゃうのかな？

デバイスの占有ができなくても、仕組み的には大丈夫だと思うんだけど、ことキューに関してはどうなるのだろう…メモリ管理とかSYCL側で管理できてるからいいのかな？なんか行けそうな気がしてきた…どうやって試そう…小さいモデルを同時に動かせばいいかな？なかなか気が滅入りそうｗ

ほんと、いままでSYCLがハングしてしまうので積極的に使用しない様に扱ってたのですが、安定したなら積極的に使っていこうと思うんですが、どうなんだろうなぁ…気になりますよねぇ…

backend元のcommit具合でリリースが頻繁に行われているのはとてもいいと思いますｗ

寝る前に今日こそビルドできたらいいかな…。llama-cppにもSYCLパッチあてて試してみたいし…