やはりIntelGPUでもCPUで動作させるより早い

クロック数はCPUより低いはずだし、コア数も複数じゃないはずなのに、しかもIntelのSoC内蔵だし…とあまり期待していなかったonGPUの威力なのですが、体感で５～１０倍以上の差はあるような気がします。いろいろdockerの仕様を調べているうちに、dockerコンテナを使っている場合はバインド接続にしてあげれば、現状一番ネックとなっている通信データのオーバーヘッドが軽減できそうなのですが、いまだにネイティブでonGPUできていません…いろいろ弄ってはいるんですけどねぇ…解らんｗそれ以前にUbuntuのWifiとBluetoothを有効にすると何やら干渉してしまうらしく省電力がだめだの、modprobe の設定をしてあげなければダメだのいくつかやり残していることがあるのでそっちを先にとか。まぁまだまだ時間が足りないわけで…

ちなみにシステムプロンプトで負荷をかけてチャットしていると、CPUだけでチャットすると５回程度やり取りすると、返答時間が10分を軽く超えてくるようになります。これがGPUで動作させると3分～5分程度で収まってきます。が、結局どちらも会話が途中でできなくなる状態に陥ってしまっています。そもそも、システムプロンプトで話のゴールが無いのも問題なのかもしれませんが…。

ちなみにCPUだと返答に30分かかるほどになって逝きます…GPUだと大体返答まで10を超えだすと逝く感じです。

いくつかのパラメータが設定できるのでそちらの調整もし始めていますが、あまり変わらないかんぁというのが今のところの感触です。（たしかにエコーチャンバーなどは抑えられた感じはしますが）そもそも論としてどうも与えている状況と会話内で進むと齟齬や矛盾が生じてしまい、割り切れずに悩みだしているのかなぁ？とか感じますが、どうなんだろう…不毛なシステムプロンプトの調整も続く…

 

 

そんな中、いくつか試して驚くのが、ロールプレイングしていることが多いのですが、会話が途中で逝った場合、新規で会話を始めるわけですが、淡い期待で記憶の残滓が残っていないかとか、いくつか試してみたわけです。結局残っているような、残っていないような良く分からない状態ではあったのですが、直接次に会話するであろう内容を会話の最初に入力してみたところ、話自体はそこからコンティニューしたような状態になるという摩訶不思議な感覚にｗ

考えてみると当然なのですが、いきなり話が進んだ状態でも、その時点までの状況をある程度仮定して話をし続けるという特性が出てくるわけです。

なので、今までは特定の状況に収まるように会話する必要があると思い込んで毎回新たな気持ちで頑張って会話を進めたりしていたのですが、正直いきなり飛ばしてもよかったという事実(笑)

そうこうしているうちに、ロールプレーの適切な進行（答え？）を知りたくて何とかならないかと思いキャラクターを複数にして、ユーザーは観測者と定義すれば勝手に話がすすんでいくんじゃね？とか。

実際にやってみると、これが結構いい感じに進められるという…