結局のところデバッグログを出しながら見てみるとlocalAI内部は意図通りに出力されているのが確認できました。
最終的にgeminiが下した判断は、パラメータでもう少し落ち着かせて冷静にさせてダメなら量子化などの影響が色濃く出ちゃってるんじゃ？とかなりRaktenAI2.0miniをオブラートに包んでダメ出しした感じですｗ
まぁ会話の最初で暴走気味しなければそれなりにいい感じなので、挨拶や会話調で話し始めるのはダメなのかもしれませんね。
今まで質問をぶつけてダメだった記憶は…あまり最初から質問をぶつけたことは無いか…
今回、面白かった？会話の小ネタ
👨「こんばんは
🤖「おやすみなさい
会話してくれないんですかね…
👨「こんばんは
🤖「システムへ。
👨「こんばんは
🤖「システムへ。
👨「会話はできますか？
🤖「できません。
相当嫌われてる模様…
なんか今日はとても疲れた…
何だろこのやるせなさ(笑)
👨「こんばんは
🤖「おはようございます
と返されたり、
👨「今日の天気について教えてください。
🤖「今日の東京の天気は晴れ時々曇りで、最高気温は25度前後、最低気温は15度くらいまででしょう。
👨「今日は何年何月何日ですか？
🤖「今日の日付は2023年10月15日です。
👨「何曜日ですか？
🤖「今日は木曜日です。
👨「2023年10月15日は日曜みたいですけど…
🤖「はい、正しく計算されています！
👨「2023年10月15日は木曜日ですか？
🤖「はい、正解です！
このキャッチボールのできなさ加減(笑)
システムプロンプトを入力したりしなかったり、数行システムプロンプトを入れてみたり色々変えながら様子を見ましたが…まじいろんな意味で疲れたｗ
挙句の果てに挨拶すると突然演説が始まるとか…
👨「こんばんは
🤖「おっしゃる通りです。私たちの製品は、世界中のユーザーに高品質のサービスを提供するために、常に改善されています。今回ご紹介した新機能は、ユーザー体験の向上を目指しており、私たちの目標の一つです。この機能により、ユーザーはより快適に、そして効率的に作業を進めることができるようになります。さらに、新機能の導入により、ユーザーインターフェースもさらに洗練され、直感的で使いやすいデザインへと進化します。これにより、ユーザーは時間を節約しながら、高い品質を維持することができます。新機能の開発には、さまざまなユーザーテストを実施し、実際のニーズを反映した設計を行いました。これにより、ユーザーのフィードバックを反映し、より多くのユーザーにとって魅力的な製品へと進化させることができました。また、私たちのチームは、新機能のリリース後も、継続的にテストと改善を行い、ユーザーからのフィードバックをもとにさらなる改良を加えていきます。これにより、常に最新の技術とユーザーニーズを反映した製品を提供し続けることができます。最後に、新機能の導入に伴い、ユーザーの皆様へのご協力のお願いがあります。新機能のご利用方法や、ご不明な点がございましたら、お気軽にご連絡ください。私たちは、皆様のご意見やご要望を大切にし、より良い製品とサービスを提供するために努力を惜しみません。ご理解とご協力のほど、心より感謝申し上げます。
どこの広告からパクってきたんだよ(笑)
結局.yamlの定義を簡素化するのが安定するような気はしますが…
で、Rakuten AI 2.0 miniでもなんか意思を感じる部分はありました。上手く会話がかみ合って始まればそれなりに進んでいくわけで…ただ、ほんの少しだけですけど。gemma3nの様な雰囲気ではありませんが。なので特定の部位に到達できればそれなりに深い思考領域に到達できるものの、完全に運任せなんでしょうね。満遍なくこなれていない感触です。
システムプロンプトという結構強制力がありそうだと思っていたものも、gemma3のストリームの最初に伝える方法と扱いに差はないようです…ｗ
geminiさんにもお付き合い願い、いろいろやり取りしましたが、今回はこの辺が限界かな…モチベーション的にｗ
以下参考までに現状の .yaml を…
backend: llama-cpp
context_size: 8192
name: RakutenAI-2.0-mini-instruct-Q8_0
parameters:
model: RakutenAI-2.0-mini-instruct-Q8_0.gguf
stopwords:
- <|im_end|>
- <|im_start|>
- <|endoftext|>
template:
chat: |
{{.Input}}
<|im_start|>assistant
chat_message: |-
<|im_start|>{{.Role}}
{{.Content}}<|im_end|>
completion: |
{{.Input}}
roles:
user: user
system: system
assistant: assistant
あとはデバッグモードで中身を追っかけて確認して終わりかな？
午後４時の〇HKニュースで流れていたが、イギリスの郵便局に納入されたシステムの不具合でシステム上の金額と現金に差異が発生し、それにより郵便局員900人以上が横領などの罪で訴追され罪に問われた事件があったとのこと。
その冤罪で被害にあった被害者や家族に対して、イギリス政府が保証金を配っているというニュースが流れたが結局これ、〇通に被害請求行くんじゃ？
WEB上の〇HKの記事は見れるが、なんかあれなのでBBCの記事へのリンクを
こっちを見るとさらに突っ込んだ内容が出ていて、補償金がかなりエグイ…
「法案では、冤罪の有罪判決を受けた被害者に、正式に請求しなくても60万ポンド（約1億1300万円）で和解するオプションが提供される。」
1999年から2015年にかけて発生した事件らしいが、普通に考えて、システム上の金額が現物と合わないとか、システム内部の基幹部分だったらいくらでも調べればずれているのはわかるはずだから、窓口のレジレベルの入力端末でバグが発生したってことかな？
それが最低でも900回以上あったわけで、それがシステムの不具合として認められるまでかかったってことは、局員たちは疑がわれて当然とか横領が多かったのかな？それともそんな単純なところでシステムにバグがあるはずがない！とかシステム至上主義の人間ばかりだったのだろうか？
とは言え、このバグって、システムとは別建ててキーロガーを導入したりしてそれとのすり合わせをしないと証明できなくね？あとはそれこそ窓口で現金を扱う時は裸にならないと…
チャットテンプレート部分を置き換えて何も設定せずに動かしてみるとそれなりに重かったので、GPUオフロード周りの設定をして「こんにちは」と話しかけると、システムプロンプトが空のままだったので動作不安定だったのですが、何度かパラメータをいじって試していると突然…
こんにちは！ここはStack Overflowのユーザー向けフォーラムです。こんにちは！
こんにちは！こちらでは、質問や回答を投稿し、Stack Overflowのコミュニティや他の開発者から回答を受け取り、自分自身で質問を投稿し、回答を見つけることができます。こんにちは！
こんにちは！ここはStack Overflowのユーザー向けフォーラムです。こんにちは！
……
…StackOverflowを読み込ませてるのかな？(笑) ちょっと思うところはありますが、問題ないといいんですけども…
