小さいサイズのLLM

結構前から気になっていて、Gemma E4BとかE2Bでも量子化するとかなり小さくなりますが、それよりはるかに小さなQwen 3.5 0.8Bモデルに気づいてから結構気にはなっていたんです。ただ、Qwen 3.6のラインナップに0.8Bモデルが無かったので、ちょっと残念だったのですが、ようやく実際に動かしてみました。

0.8Bモデルとは言えマルチモーダル対応という事で日本語は無理かな？とか想定していたのですが、日本語も通じるみたいですね…スゴっ。ただ、カタコトな返答なのはちょっとあれですが(笑)

少しチャットした感じだと、反応はRakutenAI2.0miniととても似ている感じがしました。挨拶から入ってしまうとちょっと変になるところなど。チャットは端的に、明確に質問するとまともに返答してくれます。

ただ出来上がるものはとてもレベルが低く、テキストの要約なども行えましたが、不正確になってしまっている部分ができてしまったりしました。

画像についてもあるある程度説明することは可能ですが、明らかにボキャブラリー不足なのでとても簡素な説明どまりでした。

倫理フィルターに触れてしまったのか、モデルの特性なのか、実行環境による不具合か判断できませんでしたが、推論が収束できずに、同じ言葉を繰り返したり同じ文章を繰り返したりと言ったことも簡単に発生してしまいました。

また知識不足ながらも何とか回答をしようと妄言を言い始めるようなので、使用用途はかなり限られる…というか、使用できないかもｗ

もう少し機械的にでも安定してくれればバックエンドとして動かしてもいいのかな？と考えていましたが、さすがにこのモデルサイズでは現実的ではないようですね…残念。 

 現実的に使えそうなのはやはりGemma 4 E2Bの量子化モデルが最低限なのかな？