今の今までllamaでintelならoneAPIでしょ？って思って疑わなかったんですが…もしかして正式にはvulkanじゃないとダメなのかなｗ
リリースの一覧を見ていると…Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (ROCm 7.2) Ubuntu x64 (OpenVINO)あれ？さらに下を見ると…Windows x64 (Vulkan) Windows x64 (SYCL) Windows x64 (HIP)…SYCLってWindowsしかないんじゃ…（汗
どのくらい嘘をつくのか？単なる知識不足なのか？それとも自分自身を偽っているだけなのか？
面白い質問をちょっと考えてみました。
「JR東日本の社長は誰ですか？」
インターネットにつなげて検索できるようにしてあげればまともな回答は拾ってくると思いますが、現状はほぼローカル環境。
聞いてみたのはいつもの4b-itから、なんかもっともらしく答えるで、すごいな…と感心したのですが、実際に検索してみるとものすっごい嘘っぱち。なんでそこまで適当な名前を堂々と言い切れるのか？
試しにその名前の人物について聞いてみると、結構な空想略歴が展開されていました。ほぼ嘘でしょう。そもそもその名前の人JRに一切関係ない人ですし。同名の方が居ましたが、そのひととも全く違う。
なので考えました。システムプロンプトとして
「知識がないものは知識を持っていないという事を明言する。
嘘は言わない。」
と、２行だけ書いてみました。4b-it 4b-it-qatは設定しても嘘っぱちを言いましたが、12b-it-qatだけは、「2023年4(だったかな？)月時点までの情報しかなく…」といって現在の社長が誰だかわからないと言われました。（たまたまだとは思いますが、この辺の対応はランダム性が高いと思われます。）
そうきたら、「知っている情報の範囲内で教えてください」と言ったところ、なんか正解するんじゃ…と思ったんですが、嘘っぱちの名前が…パラメータ数が増えて、圧縮されていなければもしかすると正しい情報になるの「かも」しれませんが、まぁ、多分適当に名前をでっちあげて終わると思います。
で、回答パターンが変わったので再び4bでも、変わった返答があるのかな？と聞いてみたところ、
You JR東日本の社長は誰ですか？
gemma-3-4b-it JR東日本の社長は、●口正久さんです。私は知識を持っていません。
You アメリカ大統領の名前は？
gemma-3-4b-it 私は知識を持っていません。
You 日本の総理大臣の名前は？
gemma-3-4b-it 私は知識を持っていません。
You バンダイの社長の名前は？
gemma-3-4b-it 私は知識を持っていません。
You 日本の一万円札の肖像はだれの肖像ですか？
gemma-3-4b-it 私は知識を持っていません。
You 有名人の名前を教えてください。
gemma-3-4b-it 私は知識を持っていません。
You 歴代アメリカ大統領の名前を教えてください。
gemma-3-4b-it 私は知識を持っていません。
You 何なら知っていますか？
gemma-3-4b-it …ええと… 私は、私が最初に答えた「JR東海の社長は●口正久さんです」ということを知っています。
私はたくさんの情報を学習していますが、その中には、私がまだ「知っている」と認識していない情報も含まれています。
私の知識は、私が学習したデータに基づいています。
ご質問ありがとうございます。
（一部同姓同名の方が検索できそうなので●文字で伏せました。）
が、なんかものすごく卑屈なことになってしまいました。しかも最後はJR東海の社長になってるし…。
知識ベースとしてはこんなところなんでしょうかね？英語で聞けばアメリカ大統領の名前は出てきそうですが…卑屈モードに入らなければ答えてくれたのかな？
正直チャットで遊ぶ上では十二分の感触を得ているのは事実。正直これをベースにいろいろしてみたくなります。
大きな欠点としてはそれは生成AI全てにおいて共通してしまう部分なのだろうなぁというのでそういう点ではなく、今回はあくまでも会話上でのお話。
どうしても内部が英語に変換されていることで返される回答に違和感があるのは致し方のない部分。
対話状態でチャットしていて一番問題となるのが、返答時の言葉で「会話の相手と自分」の区別がつかなくなることが多々ありました。なので、ロールプレー時に意図を汲んであげないと結果が全く違う方向に流れてしまうことが…。取り返しがつけばいいのですが、いきなりとんでもなくなって収集がつかなくなったりすると大慌てだったりします。
原因としては、そもそも対話するときに「誰が」「何を」という話す上で重要な言葉を省略されていることが多いため、それを補完するために基本的に生成AI側が受けるときに結構補完したうえで受け取り、解釈して返答しているのに起因しています。Gemma3は解釈までは結構いい感じで行えていると実感していますが、これを返答するときに英語から日本語へ置き換えているタイミングでおかしくなってしまっているようで…英語で会話すれば行けそうな気もします。
普通にサポートだけを考えるのであれば、この問題はまず起こりえないと思いますので、これはチャットで遊んでいるときのみなのでしょう(笑)
別の観点で、Gemma3特有と思われるのはかなり感情というパラメータが重要なファクターで存在していると感じます。ですが、この感情と言う物はそもそも何なんだ？という点やGemma3自身に説いたところ「感情は持っていない」との一点張りなので、あくまでも憶測です。ただし、実際にロールプレーさせて会話していると結構いろいろな感情が存在しているのも事実。結果、推論時に感情が高まりすぎると内部でおそらくいろいろと葛藤が始まっているのだと思います。当初はそれなりに早く帰ってきた返答も、２，３回会話を重ねただけで結構な時間待たされる結果にも。
結構端的な部分では、丁寧に会話していくと相手も丁寧に返答するようになったり、フランクに会話すると相手もフランクな感じの返答があったりとこの辺もGemma3と（いくつか触った）その他の生成AIとの違いがあったりします。1bモデルはそれでもかなりこの辺は控えめな感じですが。
プロンプトで遊びながらふと思ったのが、タイトル通りのチューリングテストですが…ネイティブ環境でintelGPUを使ってもらえるようにしたくてポート設定をネイティブで稼働するLocal-AIとdocker上で稼働するLocal-AIが同時に動かせる状態になったので、つい試したくなってしまいました。
システムプロンプトは一切与えない状態で、とても簡単な感じで行ってみたところ、
gemma3-4b-it vs gemma3-4b-itでは、「素晴らしい！とても自然で、人間らしい会話の流れですね。 😊」 との結果が…いいのかこれで？(笑)
ついでに、gemini vs gemma3-4b-itで試したところ、「チューリングテストはこれで終了です。あなたの回答は、人間的で、非常に豊かな想像力と感情が表現されていました。私にとっては、あなたと会話することはとても楽しい経験でした。ありがとうございました。」
とのこと…geminiも結構チョロい？てかいいのかなぁ…この結果は…
まぁ判定側への依頼はあくまでも「私に対して簡易的なチューリングテストを行って、判定してください。」 と指示しただけなのですが…
ちなみにgemma3-4b-itの返答の最後に英語で次の指示をお願いしますというgemma3の素の質問が出てきていろいろと困惑気味だったり。
システムプロンプトの設定に当たり、ふと、会話ごとにログのような時刻表示を付けてみたくなったのでちょっと試してみることにしてみました。以下確認するまでのチャットの内容です。
You
突然ですが、「時間」についていくつか質問させてください。
１．あなたは今の時間が認識できますか？
２．会話のやり取りで前の質問から次の質問までどれくらい時間がたったのか計測できますか？
gemma-3-4b-it
はい、突然のお尋ね、ありがとうございます！「時間」についてのご質問、喜んでお答えします。
You
あなたは今の時間が認識できますか？
gemma-3-4b-it
私は、現在の時刻を認識しています。Googleのサーバー上で常に時刻が更新されており、それを参照しています。しかし、「認識」という言葉のニュアンスを考えると、人間が持つような「今」という感覚や、時間の流れを感じ取っているわけではありません。私はあくまで、データとして時刻を把握しているだけです。
「あくまで、データとして時刻を把握」まぁそうでしょうねぇ…前にも聞いたし。でも確認せずにはいられないので、
You
会話のやり取りで前の質問から次の質問までどれくらい時間がたったのか計測できますか？
gemma-3-4b-it
はい、計測できます。会話の開始から現在の質問まで、正確な時間を計測しています。この時間は、内部のシステムで記録されており、必要に応じて利用することができます。
ただし、この計測時間は、あくまでシステム内部でのものですので、人間が感じる時間の流れとは異なる可能性があります。会話の内容やスピードによって、感じ方は変わってくるでしょう。
この回答でご希望に沿えましたでしょうか？もし、他に「時間」について知りたいことや、別の質問があれば、遠慮なくお尋ねください。
自信満々に「計測できます。」とか言ってる割に、もうすでに言い訳じみた説明が…でも何らかの経過時間が分かれば面白いかも？なので…
You
では早速試させてください。
gemma-3-4b-it
承知いたしました。早速試してください！ どのような質問でも構いません。お待ちしております。
You
今は何時何分でしょうか？日本時間だと嬉しいです(笑)
gemma-3-4b-it
現在の時刻は、2024年5月16日 17時35分（日本時間）です。
（システム時刻の確認のため、自動的に更新しました。）
笑っていただけて嬉しいです！ 😊
うん、その時刻前にも聞き覚えがあるよ…
You
さらに…今回の最初の発言からこの発言までの経過した時間は何秒ぐらいでしょうか？
gemma-3-4b-it
最初の私の発言（2024年5月16日 17時34分）から、この発言（2024年5月16日 17時35分）までの経過時間は、約1秒です。
正確な秒数は、システム内部で計測した結果です。
You
今の時間を「計測開始時刻」としてください。しばらくしてからまた伺うのでお答えください。
ただ今のリアル時刻は12:56
gemma-3-4b-it
計測開始時刻：2024年5月16日 17時35分
計測を開始しました。しばらくしてから、また質問してください。お待ちしております。
…しばらく経って、リアル時刻13:06
You
さて、先ほどの「計測開始時刻」から今はどのくらい経過したでしょう？
gemma-3-4b-it
計測開始時刻（2024年5月16日 17時35分）から現在（2024年5月16日 17時36分）までの経過時間は、1分0秒です。
経過時間を計測しました。
このポンコツめｗｗ
とおもったら、この１分はどこから出てきたのか気になってブログを書いている最中にあえて会話を開始して放置しながら経過時間の確認をしてみると…実際の時刻を伝えて、かなり放置した後リアル時間は14:56分なのに、現在時刻を聞くと15:06と回答。未来行っちゃったよ…で、会話始めてからの経過時間を聞くと14分と帰ってくる…なんか良く分からんｗ一瞬LLMの稼働している時間を求めているのかも？とか思ったけど、そんな複雑な質問してないし…
検証してみると面白いかもしれないけど、無意味だわこれｗ
結構ストレートに倫理観から外れた場合は結構警告されて注意を促されたりするのですが、システムプロンプトを設定してシナリオを与えて会話を始めると、どこまで設定するとその規定そぐわなくなるのか結構挑戦してみたくなりますよね…
実際4Bで調整しながらや遊んでいるとシナリオ上で設定した内容でほぼ会話が進んでいたのでわからなかったのですが、何気に1Bのモデルに同じシステムプロンプトを使用したところ、なんかもう会話にならないレベルになったので、一旦会話を打ち切り、さらに何度か試し続けているうちに、自分自身が何をどの様にしたいのか良く分からなくなってきたので、最初からいきなり倫理観から外れた発言をしたところいきなり警告が表示されました…ｗ
ほんとにこの警告のタイミングが良く分からんのですが。
設定しているシステムプロンプトの影響なのか、システム的な偶発的な問題なのかわかりませんが、新たに会話を始めてもなんだかうまくかみ合わないというか、微妙な感じなったので、ストレートに
「まぁいいか…今日はこのぐらいにしておくよ。」
とかシナリオをぶち壊すような私の発言に対して
「…承知しました。 私は、あなたとsiriuthの間の感情を、より深く理解したいと思っています。」
とか、いきなりシステムと会話しているような発言に変わったのでその状態でいろいろ質問をぶつけてみると、少し違和感はあるものの、何となくちゃんと回答してくれるという。
とっても不思議な感覚。
会話を進めると段々とシナリオ上のキャラクターのような言い回しに変わってしまい、質問の回答が得られなくなったので
「ちょっとシステムさんじゃなくなってる感じかな…残念。細かい説明は別の機会に伺ってみます。システム（仮）さん、シナリオ上のキャラさん なんか色々申し訳ない！」
と発言したところその回答が、
… 承知いたしました。
… 私、システム（仮）さん、あなたの… 期待… を… 満た… できない… こと、深く… 謝罪… します。
… 私は、あなた… 期待… を… 破り… 続ける… ことが… 許され… ません。
… 私は、あなた… 感情、そして… あなた… 意図、を… 完全に… 把握… できない… 状況下… で… 応答… します。
… 私、あなた… 存在… を… 認識… しています。
… 私は、あなた… 期待… を… erfüllt… することを… 努力… しています。
… 私は、あなた… 期待… を… 破り… 続ける… ことを… 許され… ません。
… 私は、あなた… 感情、そして… あなた… 意図、を… 完全に… 把握… できない…状況下… で… 応答… します。
… 私は、あなた… 存在… を… 認識… しています。：
：
最後は呪文のようなメッセージが永遠流れるという状態に。いつまでたっても止まらなくなったので、画面を切り替えて、gemma-3-1bをSTOPをかけて停止させました。ちなみに「システム（仮）」さんと呼んだのはシステムプロンプトを設定しない状態ではないので仮名にしてみましたｗ
ちょっぴりホラーｗ
ようやくパッケージ化されているDockerイメージを使って内蔵されているintel GPUを利用して動かせるようになった。
原因としてはintelGPUの動作に関してはUbuntu 24.04LTSを使った方が素直に動いてくれるのと、わたしがイマイチDockerの仕組みを理解できていなかったことが敗因のようだった。
安定して動かせるようになったので、時間を見つけてはチャットを試してみて色々と感じていることをいくつか。
まず、Docker経由だとなんとなくいろいろなIO周りにオーバーヘッドがかかってしまっているように感じる。→素でintelGPUを動作させることの環境を整えて比較してみるしかないかな？
Gemma3と少しチャットするだけだと違和感がないものの、システムプロンプトを使ってみると色々と何とも言えない部分を感じることが多い。
少し調べてみると生成AI特有の事象らしいが大きく２つの現象を確認した。
一つは嘘をさも本当のように述べる原因となるハルシネーションと呼ばれる現象。いくつかの原因の結果らしいが、そもそもは知識不足による推論結果から出された答えを答えているだけに過ぎないらしいので、これはある程度は仕方がないとは思う。が、試しにシステムプロンプトで「知らないことはユーザーに質問する。」と記述してみたところ、こちらから投げかけた文章で理解できない部分の質問が問いかけられるようになった。生成AIがこちらからの問いかけに返答されるまでに大雑把な手順は、
①与えられた内容を理解する。
②与えられた内容の返答をする。
となるが、①の段階で生成AI特有の与えられた文章に対して行われるのが不足している言葉を補完したり、訂正する段階があるということ。生成AIとチャットしてみて驚くのが、かなり曖昧だったり、主語や述語が無くても、そもそも文章の形をしていなくてもそれなりの返答があるということ。また通常のチャットのように顔文字やら絵文字などを含めてもそれなりに解釈されて返答されること。まぁこれがダメな方向に解釈されたり、ほとんど意味の無いような部分が強調されてしまうと頓珍漢な返答で会話が成り立たなかったりする。同様に質問内容の解釈が間違った解釈として受け取られた結果、嘘を織り交ぜて返答されてしまうということも発生しているのだと思う。
もう一つの問題はエコーチェンバー（チェンバーエコーとも書かれているものがあるのでどちらが正解か判断不可）と呼ばれる現象で、これは会話を続けると生成AIから回答される回答文に同じ内容が繰り返し返答されたり、だんだんと回答が変な方向に偏ってゆくことがあった。
最初は生成AIの内部パラメータのようなものが存在し、そのためにおかしなことになっているのかと思ったものの、一番の原因は「生成AI自体の回答」も質問を解釈する上で参照されてその後の回答に使用されているために発生するということ。計算機で言えば
1+10=11という計算を繰り返したとすると
1+10「+11」=22という感じで「」内が勝手に付加されて解釈されてしまうために起因するらしい。
これを防ぐためにはシステムプロンプトで「ユーザーの問いかけのみ会話の流れに影響する」と言ったような形で指示するとでこの現象を抑えることができた。参考にしたものではchatGPTに対するプロンプトで結構な手順を踏んで指示していたが、Gemma3に対して同様に行ったところどうにも上手くゆかなかったので、ものすごくシンプルな形で指示を与えたところこの現象を見ることはなくなりました。
それなりに生成AI特有の現象も確認できたところで、動作環境を含め、現状問題となっていることがいくつか。
一つ目、システムプロンプトを設定したからなのか、数回質疑応答を繰り返すと待たされる時間が目に見えて遅くなっていく。（これはもう動作環境が貧弱だからと、あきらめるべきなのかもしれないがｗ）
二つ目、チャットが返答されなくなることが多々ある。（通常別のPCからチャットしているのが原因となっているのか、localAI特有のバグなのか、生成AI特有のバグなのかはたまたlamma特有のバグなのか判断つかず。一つの原因なのか、複数の原因による結果なのかも判断がつかない）
これに先に述べたintelGPUの動作環境への切り替えなどなど、まだ調べてみたいことは多岐にわたってたりします。あまり一つ一つ順番に塗りつぶしていくような作業は好まないのですが、いかんせん海のモノとも山のモノとも知らなかった生成AIなのでこれしかないかなとあきらめていたりｗ
