LocalAIの小数点のバージョンアップは大体１ヵ月ぐらいなんでしょうかね。
3.10がタグ付けされたのは昨日知ったのですが、本体のビルドは何の問題もなく済むようになりました。backendはまだllama-cppぐらいしか行けてない感じですが、それでもdockerを挟まなくていいのと、CPUと機GPUを同時に使う形になる様に小手先の調整をしたりして試しています。
バージョンアップは能的に何が変わっているというのは毎回悩みどころだったりしますが、今回は各dockerイメージが統一化しているようです。（すでに使ってないのでわかりませんが）
今のところ、できる限り仮想化させずに動作させている都合上、結果的にbackendsからインストールする形ではなく、backend内のビルドスクリプトを整備して起動時にLOCALAI_EXTERNAL_GRPC_BACKENDSに設定して動作させる形で落ち着いています。
なろう小説で数年前に上がっているものは読み切ったのですが、設定は面白いのですがいかんせん話が長く(笑)
嫌いじゃないのですが、アニメ化されたという事で見た感じガッツリ低予算アニメで残念でした。
とは言え、２話目を見始めて違和感が…音はしているのだけれど声がよく聞き取れず、ボリュームを上げようとしたところ通常のボリュームよりは大きめになっている…。しばらく真面目に見ているとどうやらBGMの音量が大きくて音声をつぶしている感じに気づきました。音楽だけれなく、背景音なども結構うるさい。無意味そうな虫の音なども結構うざく(笑)
イコライザーで少し弄ってやらないとまともにきいていられないかも。
ヌルヌル動いて作画崩壊も起こさないで綺麗なアニメの方がいいとは思うが、低予算でももう少しなんとかしてほしいレベル。そしてこの音のバランス…いろいろ不安しかありません。
ポーション、わが身を助けるなんて結構紙芝居アニメでの最終形態に近い気がする。
LocalAI 3.9.0でテキストのチャットは安定しているようなので、せっかくなのでいろいろ遊んでみようかと。
最初のころ(3.6.0ぐらいかな？)テキストファイルやPDFや写真をLLMに提示したときの反応を試したことがあったものの、写真に関してあまり上手くいかず、何が引っ掛かっているのか良く分からず、その後、3.7.0や3.8.0ではWebUI上のチャットインターフェイス（ChatterBox？）がうまく機能していなかったので放置していました。
とは言え、現状では必要なmmprojはgemma3のものしか自動的に設置されないので、LLMにマルチモーダル機能があったとしてもllama-cppでggulを使って動かすと別途mmprojが必要になるという。元となるモデルファイルやsafetensorsファイルを直接動かす形であればすべてがそろっているのでそれをllama-cppから直接使えればと考えましたが、現実的には元となるファイルから変換してmmproj～.ggulファイルを作成する形になっているようですね（できるのかどうかはやってみるまで分かりませんが）。
とりあえず、手元にあるものだけで動かせるもので動かしてみると…何も考えずに画像の認識をしてくれました。試したモデルはgemma-3-4b-it-qatとかgemma-3-12b-it-qatで試してみました。どちらもあまり差は感じませんでした。ただ、画像認識後の出力時に色々な制限がかかり答えてくれなかったりすることがありました。（例えば女性の写真などを認識させたうえでバストサイズなどを聞いた場合は、推定であっても直接的な質問では答えてくれませんでした。理由は個人情報のため、答えられない。といった感じだったかな？性的にどうのこうのより、撮影された本人が聞かれて直接答えたくないような質問は返さないような印象を受けました。）
画像認識に関しては予想していた以上にまともに返されました。例えば適当な場所で撮影した写真を見せても、それなりに撮影場所、此処の被写体、撮影時の状況を認識してくれました。極端な外れは無さそうかな？というのが感想です。
年末２７日に発生した関越道の事故現場の写真を使ってみましたが、例えばトラックの台数や乗用車の台数などザックリと数えたりしてくれましたし、燃えてしまった車の台数も推定で構わないと条件付けしたところそれなりに数えてくれました。
あと、カスタマイズされたモデルでも試したのですが、黒人の顔写真を用意しましたが、ちゃんと黒人と認識しました。一時期ゴリラと区別ができないと話題になっていましたが、識別していて、「ゴリラではないのですか？」と聞いたところちゃんと違う点も説明してくれました。
これだけの認識力があるなら、大量の写真の自動整理も手軽に行えそうです。
PDFも画像が含まれたPDFを要約してもらったのですが、結構いい感じで要約してくれました。下手なナナメ読みよりしっかりと要約してくれるので、大量のPDFファイルの中から何かを探すときにも使えそうです。なにより、PDFってファイル名が良く分からないものが多かったりするのでこの辺の機能も単純に便利そうです。
それとは別に、他のモデルも再度触りなおしてたりします。IBMのモデルを触ってみましたが、以前よりもっとまともに反応が返ってくるような？3.6.0の頃は結構ボロボロだったのかな？gemma3と比べて知識ベースが結構しっかりしてくれている感じです。モデルサイズによって知識の深さは確実に違うのですが、それでもgemmaよりまともに（学習時点での）日本の総理大臣とか答えてくれます。ただ…花高々と経歴まで紹介してくれるのですが、A部元総理は共産党出身らしいです…平気で嘘ついたりするので全く信用なりません(笑)
cpu単体で動かせるようにビルドまでたどり着いた感じです。
ビルドと言っても、pythonなので実行環境の構築となるわけですが、oneAPIを使用する形にするとビルドスクリプトが通らなくなります。おそらくoneAPI周りのアップデートをかけてしまっているため、必要なパッケージがそろわずpythonの実行環境を作ることができませんでした。
ビルド中に色々見ていくと不安要素とか、制約条件やらが明らかになるにつれて絶望しかないのですが(笑)
vllmの利点は実行時に使用されるkvキャッシュの効率が（各段に）良くなるという点。
難点としては、使用メモリがほぼオンメモリになる点。
さらなる懸念としてインテル系のcpuの記載を見るとxeonしか見当たらないし、要件にCPU flags: avx512f (Recommended), avx512_bf16 (Optional), avx512_vnni (Optional)とあり、必須ではないけれども…(笑)
表現としては
Required, Recommended, Optional
必須、推奨、任意
（参照）
で、必須ではないから動かせるという認識なのですが…ｱｯﾃﾏｽﾖﾈ?
そして実際に実行してみると、実際に扱えるファイルがgguf形式ではなく、その前の状態のファイル群だということ…早速用意して実行すると、モデルを読み込んでいくだけでシステム上のメモリがガンガン減ります。ここで初めてllmの動作にメモリが必要なんだと実感しました(笑)
そしてトドメに
Unexpected err=RuntimeError("Engine core initialization failed. See root cause above. Failed core proc(s): {'EngineCore_DP0': -9}"), type(err)=<class 'RuntimeError'>
というメッセージとともに処理が打ち切られました。
２度ほどgeminiに聞いてみたのですが、確実にメモリーが足りていなく、OSレベルでOut of memory: Killed processとして処理されてしまっている感じです(笑)
geminiから提示されている回避方法として、量子化されたものを使用する。とか実行時のメモリーをできる限り抑える方法が提示されました。が、どちらも無意味っぽい。
まず量子化されたものというのが、現状ではCPUだけではAWQ GPTQ INT8(W8A8)（参照）しかサポートされておらず、ggufファイルはサポートされていないという点。（genma3nのggufファイルを読み込ませたときのエラーメッセージはgemma3nのgguf形式は読み込めないと出たので、もう少し古いタイプのggufファイルならいけると思っていたのですが、調べてみるとだめそう）ちなみに、IntelGPUも同様にggufはダメなので、たとえ実行環境をそろえても手持ちのファイル群は使えそうにない。
小さいモデルで量子化されたファイルを用意してあげればいい感じで動いてくれるのかな？
去年初めて買った福袋？のポイントがあるので消化しようかな？とできれば買えればいいかなぁと思ったんですが、時すでに遅し…。こんなんだからセール物には縁遠かったりするのですが。
で、買いたいモノリストの候補で暖房器具ほしいかなぁ？とかあったので見てみると、〇イリスオオヤマのとか怪しい系のヒーターは５千円程度だったのですが、コロナのヒーターを使っててとても気に入っているので、それだといくらぐらいなのだろう？と見てみると、１万８千円とか…それよりよさげなモデルもあってそれは２万ぐらい。ん～…。できれば２台欲しかったのですが、まぁ使ってるのと同じモデルで１台で我慢するかぁ…的な。
で買う時に在庫が関東にはなさそうな表示だったのですが、物は注文できそうだったのでポチって見たわけですが…輸送になぜか「日本郵便」のゆうパック…え？箱の大きさ結構でかいよ？とか思ったわけですが、ゆうパック140で輸送されてくるそうで…妙なところに驚きましたが、着日は年末の30日…翌日配達？ゆうパックってそんな早かったっけ？とか。
昨日はその程度で済んだのですが、ついさっきどこら辺から届けられるのかな？と荷受け局とか住所見てみると、博多北郵便局？ え？ハカタ？ あれ福井とか富山とかじゃなかったっけ？
とあらためて見てみると、福岡県…九州じゃんｗｗｗ
グーグルマップで見てみると、ものの見事に九州の福岡県…そっかぁ…ここから輸送されてくるのかぁ…ほんとに今日中に届くのか？とか。
でもゆうパックの着日を見ると午後荷受けしたものは翌日の夜間には届くって出てくるし…恐るべし…っていうかこんなことやってたら破綻するわな…と真面目に感じたり。
