Siriuth's Diary

2026年4月26日日曜日

LocalAIで遊んでいるminiPCと同一のminiPCでWindowsを使用しているのですが、windows用のintelグラフィックスドライバの更新をおこなったら、インテル・グラフィックソフトウェアが新しくなり、ようやく内蔵のGPUがどんなものなのか目視することができました。

なかなか魅力的な修正が入っているので現時点での最新のリリース（b8929）をベースとして実行したかったので、/backend/cpp/llama-cpp/grpc-server.cppへのLocalAIのmasterに反映されている部分の一部を取り込むことで何とかmakeしてみました。

ベースとなるモデルが動いたので、他のモデルも簡単に動かせるかと期待したものの、結果から言えばほぼ全滅…昨日の夜からいろいろ試してみた物の何の成果も出ませんでした…。

遅いとか早いとか以前の問題ですね。ただ、どんな形でモデルが絡み合っているのかは見えてきました。とはいえ、ドキュメントはあくまでも参考程度で、ソースを見なければ設定した値がどのようにbackendに引き渡されるのかわからなかったりしますね。普通はこの辺りの事どうしてるんでしょうかね？

現状 LocalAI v4.1.3 に /backend/cpp/llama-cpp/grpc-server.cppをmasterから上にかぶせてmakeしていたのですが、どうも5日前からLocalAIのgrpcインターフェースの変更が反映されてしまっているようで…

４月１７１６日にQwen3.6が公開されていたようですね…

先週末は個人的なイベントとして議員選挙の投票があったので、ハマり始めた生成画像で少しずつ様子見をしているうちに週が明け、昨日も全く知らなかったモデルなども見始めたりしていました。