小さいサイズのLLM

結構前から気になっていて、Gemma E4BとかE2Bでも量子化するとかなり小さくなりますが、それよりはるかに小さなQwen 3.5 0.8Bモデルに気づいてから結構気にはなっていたんです。ただ、Qwen 3.6のラインナップに0.8Bモデルが無かったので、ちょっと残念だったのですが、ようやく実際に動かしてみました。

Sycl パッチ

LocalAIで初回実行時に動作が安定しないので少し違う角度で見直していたらパッチで無駄にwait()してしまうかも…と少し変えてみました。（そもそもが一時的措置とは言え、これがないとハングするのが確定しているのでまだこのコードは活かしておかないとだめなのでｗ）

LocalAI v4.3.2 主にパッケージバージョンやbackend関連のバージョン更新等

なかなか順調に落ち着いているようです。個人的にはLocalAIベースで動かす前段階で細かな動作確認でお腹いっぱいの状態で触れていないのですが、いろいろなモデルの対応や機能拡張が行われているようです。

v4.3.1からか今回からかはわかりませんが、ネイティブ環境(ベースはUbuntu  24.04.4 LTSサーバー)でビルドするために新たにnode.jsのバージョンを更新する必要がありました。

You are using Node.js 18.19.1. Vite requires Node.js version 20.19+ or 22.12+. Please upgrade your Node.js version.

解決方法としてはnode.jsのバージョンを上げる必要がありますが、これによって問題が発生する場合は別の方法をとる必要がありますが、とりあえず下記を参照し22.xに上げました。 

参考：https://qiita.com/asa129/items/3084b79e55cef0405954

実際に実行したものは下記の通り。 

curl -fsSL https://deb.nodesource.com/setup_22.x | sudo -E bash -
sudo apt install nodejs -y

結構こんなコマンドをワンライナーで実行するのは抵抗がありますがｗ気になる場合はパイプ部分を切り離してaptのリポジトリの変更内容を確認してから実行すればよいと思います。

nodejsパッケージが無事バージョンアップされた後に再度失敗したmake buildを実行すると無事localAIのビルドが完了します。 

今後の作業簡略化のためにgithubでforkしていくつかのリポジトリを作成してみましたが、やっていることはllama-cppのビルドで常に引っかかるgrpcライブラリの参照を軽くすることとllama.cppのggml-sycl.cppのパッチです。 

makeは完了したが…

紆余曲折あったものの、なんちゃってavx512であるoneMKL版のmakeが通りました。

期待して実行してみた物の、なんかめっちゃくちゃ出力が遅い…。

llama.cpp on windows

結構簡単に考えていたwindows環境での実行ですが、結論から言えばバイナリー配布を素直に使うべしですね(笑)