どのくらい嘘をつくのか?単なる知識不足なのか?それとも自分自身を偽っているだけなのか?
面白い質問をちょっと考えてみました。
「JR東日本の社長は誰ですか?」
インターネットにつなげて検索できるようにしてあげればまともな回答は拾ってくると思いますが、現状はほぼローカル環境。
聞いてみたのはいつもの4b-itから、なんかもっともらしく答えるで、すごいな…と感心したのですが、実際に検索してみるとものすっごい嘘っぱち。なんでそこまで適当な名前を堂々と言い切れるのか?
試しにその名前の人物について聞いてみると、結構な空想略歴が展開されていました。ほぼ嘘でしょう。そもそもその名前の人JRに一切関係ない人ですし。同名の方が居ましたが、そのひととも全く違う。
なので考えました。システムプロンプトとして
「知識がないものは知識を持っていないという事を明言する。
嘘は言わない。」
と、2行だけ書いてみました。4b-it 4b-it-qatは設定しても嘘っぱちを言いましたが、12b-it-qatだけは、「2023年4(だったかな?)月時点までの情報しかなく…」といって現在の社長が誰だかわからないと言われました。(たまたまだとは思いますが、この辺の対応はランダム性が高いと思われます。)
そうきたら、「知っている情報の範囲内で教えてください」と言ったところ、なんか正解するんじゃ…と思ったんですが、嘘っぱちの名前が…パラメータ数が増えて、圧縮されていなければもしかすると正しい情報になるの「かも」しれませんが、まぁ、多分適当に名前をでっちあげて終わると思います。
で、回答パターンが変わったので再び4bでも、変わった返答があるのかな?と聞いてみたところ、
You JR東日本の社長は誰ですか?
gemma-3-4b-it JR東日本の社長は、●口正久さんです。私は知識を持っていません。
You アメリカ大統領の名前は?
gemma-3-4b-it 私は知識を持っていません。
You 日本の総理大臣の名前は?
gemma-3-4b-it 私は知識を持っていません。
You バンダイの社長の名前は?
gemma-3-4b-it 私は知識を持っていません。
You 日本の一万円札の肖像はだれの肖像ですか?
gemma-3-4b-it 私は知識を持っていません。
You 有名人の名前を教えてください。
gemma-3-4b-it 私は知識を持っていません。
You 歴代アメリカ大統領の名前を教えてください。
gemma-3-4b-it 私は知識を持っていません。
You 何なら知っていますか?
gemma-3-4b-it …ええと… 私は、私が最初に答えた「JR東海の社長は●口正久さんです」ということを知っています。
私はたくさんの情報を学習していますが、その中には、私がまだ「知っている」と認識していない情報も含まれています。
私の知識は、私が学習したデータに基づいています。
ご質問ありがとうございます。
(一部同姓同名の方が検索できそうなので●文字で伏せました。)
が、なんかものすごく卑屈なことになってしまいました。しかも最後はJR東海の社長になってるし…。
知識ベースとしてはこんなところなんでしょうかね?英語で聞けばアメリカ大統領の名前は出てきそうですが…卑屈モードに入らなければ答えてくれたのかな?
0 件のコメント:
コメントを投稿