ik-llama.cpp backendを追加？

電車の中で、githubでlocalAIリポジトリのコミットを見てみると、「feat(backends): add ik-llama-cpp」と出ていたのでなんだろうな？と検索してみると、少し前にllama.cppからforkされた物のようで、llama.cppで苦労してそうな古いアーキテクチャのサポートをは行わずにCPU+GPU、CPUの動作でllama.cppよりも効率的に実行できるようで…

Webuiは無いようですが。使ってないからええかなｗ

ざっくりと見るだけでも、結構評価は高そうです。さっそく動かしてみたいですね…ビルドがpytorch絡んで居なければ何とかなるはず…

はい…実はpythonベースの実行環境がよくわからなすぎてpythorchベースの物が思うようにビルドできてないんですよｗ

正直なところここまで試した結果、docker imageでいいんじゃね？的な部分もあるわけですが、昨日今日でネイティブならでわの利点というか、利便性が改めて実感してたりｗ

まぁライブラリバージョンの制限がキツイとどうしようも無さそうなのは変わりませんが…