localAI v4.0.0 のビルド

ネイティブ環境でビルドするのにv3と手順は変わらないものの、新たにnpmというJavaScript用のパッケージ管理が用いられるようになったので、別途aptでインストールしました。

またこのパッケージシステムのレジストラのホストがnpmからアクセスできずにビルドでエラーになってしましました。

npm で ECONNREFUSEDとか言われた 

対処方法はいくつかありますが、小手先だけ何とかならやはりこの記事のhostsファイルに一時的にIPv4アドレスを追加して回避しました。（その後のためにビルド後は追加業はコメントアウト）

backendのllama-cppもいつも通り、一部のmake関連ファイルを修正してビルド。

そのと他はおいおい…

で、チャットを試してみましたが、エージェントの機能などが統合されている感じなのと全体的なWebUI周りが洗練されてきた感じです。文字だけのチャットなら問題は無さそうですが、マルチモーダル的なことを行うと永遠とThinkingになったまま帰ってこなくなるという感じ。ストリームのストップをかけると表面上停止したかに見えてもがっつり動いたままになります。model(backend)の再起動が行われるまで動いているのと、どこかで処理がおかしくなっているのかみるみるスワップファイルが肥大化してシステム全体がかなり不安定になりました。いままで放置していたswapファイルを止めるだけでも良かったのですが、zramをインストールしてメモリの一部を割り当てておきました。

モデルのパラメータを変更するのがチャット画面から変更できるようになって、パラメータのセーブをすると再起動まで綺麗に行ってくれるので、これだけでもv4.0.0はいいかもしれません。（本来は他の機能が魅力なんでしょうけど…ｗ） 

LocalAI v4.0.0 がリリースされました。

もうそろそろかな？と思っていましたが、v4.0.0が昨日リリースされました。午後電車の中で見たときに11時間前とのことなので日本時間で15日午前3時ぐらいだったのかな？

メジャーバージョンアップとしてより一層の汎用化とエージェント系のインタフェースが追加されている感じです。 

LocalAIの目指している形と私が求めている形が違っているかなと薄々感づいては居るのですが、LocalAIを中心に見ていると流行を感じることができるのでウォッチは外せないかもしれません。

何も考えなければDockerイメージで動作させられるというのは便利なので各生成AIを統合的に扱うためのプラットフォーム的なものとしては優秀なのかな？

 

 

 

ネイティブ環境で動かしたいので頑張っていますが、いまだにllama-cppのバックエンドぐらいしか動きませんがｗ

ド派手にpythonをuvベースで動かすのにはまってしまっていてなかなか前に進みません… 

ルータとは別の無線アクセスポイント経由のmDNSとか。

色々と右往左往した結果、主な設定方針としてメイン（無線）ルータを主軸にLANケーブルでつないでいます。速度優先と言うよりは安定性優先と言う感じ。

とは言え、無線環境も必要なので個別に無線アクセスポイントとして中継器も使用していると、手軽な無線環境が主軸に(笑)。

無線LANを主軸にするとクライアント側の不便はほとんどないのですが、サーバー形式になると途端に不都合な部分が出てきます。

特に、無線アクセスポイントの先に無線接続のサーバーを置いたりすると途端に接続がおかしくなります。完全にアクセスできなければ割り切りができるのですが、ホスト名アクセスだと接続したり、しなかったり、接続できても切断状態になったりと、なかなか安定しません。

とは言え、IPアドレスでアクセスする分には安定して使えるので、何とかならないかと、最近の無線ルータを購入して解決しないか試してみました。が、結果的に症状は変わらず。

無線LANベースを崩さずに何とかする方法を模索したところ、メインとなっている無線ルータに接続した状態のサーバーであれば、（今までのルータでも）安定してアクセスできるところまでは確認しました。これで満足してもいいのですが、作業している手元に本体がないというのはちょっと辛いかなぁ…とか。 

無線アクセスポイントを最近のものに変えて試してみるという手段がまだ残っているのでもう少しあがいてみようかな？

 

と、それとは別に最近（？とはいえもう結構経ちますが）の機能としてメッシュWifiとか気になったので試してみました。

正直なところ理想としては無線ルータと中継器を有線LAN接続して中継器を無線アクセスポイントとしてできるものだと思っていたのですが、どうも無線リピータとして機能させる以外にメッシュWifiは構築できないようで… 思ってたのと違いました。

メッシュWifi環境にしたうえで、Wifiのチャンネル設定を2.4G / 5GHzともにチャンネルを自動設定にしたところ、占有されるWifiチャンネルが広範囲になることも確認。当たり前と言えば当たり前ですが…。同じSSIDで接続できるようになるとは言え、ほとんどのクライアントデバイスでSSIDの切り替えはそれなりにスムーズに自動で切り替わるのであまり利点はないかな？とか。

場所によるのですが、結構近所のWifiの設定が電波強度を最大にしているところが多いので、2.4GHz帯では繋がらないということは無いのですが、モニタリングしているとあまりよろしく無さそうかな？とか。5GHz帯もSSIDこそ拾えますが、電波特性上、屋内に設置する必要があるうえ、屋外には電波が届きにくい…はずなんですけど、結構漏れまくってますね(笑)

個人的に消費電力的にも出力強度は最低限にする様にしていたりします。周りも弱くしてくれれば、電波汚染がクリアされるんですけどね…。

本命？

なろう系の小説を読み始めたのは、なろう系アニメが結構展開されてからだったりします。それまでは何度か読み始めた事もあったのですが、どうも文体が合わなかったり、イメージが湧かなかったりするものばかりで、合いませんでした。

とは言え、いくつかのなろう系のアニメを見ていると先の展開が気になったりするわけで…一番最初に本格的に読み始めたのは「転生したらスライムだった件」からなのかな？

Web版は正直なところ難易度高めだと思いますｗ

そこからアニメ化されたものをいくつかWeb版の原作を読み始めたり、設定が気になったものを読んだりしていました。アニメ化されていない物もいくつか読んだりしましたが、基本的にはなろう系だとランキング上位になるものは読みやすいものが多いですね。アニメ化されると私と同様に気になって読まれている方も多い感じがします。

あと、作者もアニメ化決定したり、放映されたりすると記念にSSを追加するパターンも多く、リアルタイム性も高くて面白いです。

意外なところで「盾の勇者」もアニメから入った口ですが、Web版だと作者の暴走が止まらず変態的な物語が展開されています(笑)これも書籍だけだとありえない展開だと思います。何となくアニメ化はどうもまた別のテーマをもって展開されている感じがするので、同じ設定上の別の話になって行くのでしょうかね？

アニメ化後も、マイペースに話が進んでいる本命として「最弱テイマーはゴミ拾いの旅を始めました。」だったりします。アニメは低予算で仕上がりは微妙だったりしますが、悪くはないかな？と思います。Web版としては大きな一つのゴールはしていて、その後の話の展開がそれなりに続いていて、正直話を完結させる気はあるのか？と思われますが、主人公たちがこれからも元気で幸せに生きてほしいと願っている作品です。

他にもアニメ化されたもので、最初から文体もしっかりしてる作品も多く簡単に手軽に読めるのはうれしい。

ただ現状…書籍がめちゃくちゃ高騰しているので手軽な物ではないのは確かなのですが。 

嘆きの亡霊

アニメネタとしてですが、これはなろうのWeb版のおすすめになってしまうかな…

アニメから入ったのですが「嘆きの亡霊は引退したい」という話も結構面白かったです。アニメだと、ちょっと扱いが残念な女の子キャラが結構際立ってたりしますが、Web版ではそこまで表立っていなかったりしました。書籍か、コミック版でフォーカスされたのかもしれませんが。 

これもアニメから入ったのですが、話の展開が面白く、Web版を一気に読み進めた記憶が残っています。アニメとWeb版しか知りませんが、あまり違和感はありませんでした。アニメ化されていない先の展開も結構面白く、今後が楽しみな話の一つです。

気持ちが疲れたときなどにおすすめですｗ