Gemma 4 （主にE4B) の画像認識

まだ突っ込んだチャットはしていないのですが、mmprojが目についたのでvision機能について少し遊んでみました。(Unslothさんはほぼフルセットのggufが作成されているので私のようなにわかにとても助かります。ドキュメントも整備されていてものすごく理解が早まります。)

比較対象は主にGemma 3や3nとなりますが、複数のmmprojモデルが作成され選択肢として用意されていたので、その違いも改めて知ることになりました。

gemma3nのImage to Text

前々からgemma 3nのmmprojモジュールをどうやって用意すればいいのか途方に暮れていました。

geminiに聞いてもgemma3の話しかしないし、「n」を見なかったことにするんですよね…。でも今日は少し突っ込んで「gemma 3n のmmporjの作成方法 」と質問し、gemma3の話をされた後に再度「「gemma 3n」の場合も同様ですか？ 」としてみると、ようやくgemma3nの話に移ってくれました。 

まぁ作成方法に関しては絵空事混じりの戯言だったのですが、入手方法として「Hugging Face で検索: gemma-3n GGUF mmproj で検索」というヒントをいただけました。

gemma3nが公開されてから結構経っているのであるかもなぁ？とあまり期待せずに検索してみるとありました。

ただし、sign upしないとダウンロードできないので、今まで登録していなかったのですが、背に腹は代えられないので登録することに…で、早速試してみました。

保証はできませんがとりあえずこちらのものを使いました。https://huggingface.co/Anthonyg5005/gemma-3n-e4b-mmproj-gguf 

メインで触っているのは4Bサイズのモデルですが、gemma3と比べるとあまり違和感がありませんが、3nの方がより直感的になっている感じはします。

質問に対する応答は3nの方が会話が通じるのでようやくいい感じにいろいろと試せそうです。

所々で3nはなんかまともに画像の認識をしてくれないとか、酷いと言った書き込みがあったのですが、特に問題はない感じです。 

ただ残念なところがあって、イメージは通るのですが、音に関しては…このmmprojではダメな様で…正直なところ、絵よりも音の解析をしてもらえるととても便利なのでは…と思っていたりします。特殊な機材が無くても音声をいろいろ分解や分析を行って教えてくれそうとか期待してたりします。

環境として結構落ち着いた感じになってきたので、もう少し他の事も試してみたいかな。