メモやら記録やら
紆余曲折あったものの、なんちゃってavx512であるoneMKL版のmakeが通りました。
期待して実行してみた物の、なんかめっちゃくちゃ出力が遅い…。
結構簡単に考えていたwindows環境での実行ですが、結論から言えばバイナリー配布を素直に使うべしですね(笑)
そう言えば適当なプロンプトが増えていて単純な「fish」という単語だけで画像生成するのを忘れてました(笑)
サクッとアップされていますね(笑)主な変更点はバックエンドの最新バージョンへの差し替えがいつくかあるのと、バックエンドのkokoroの修正でした。
v4.2.6がリリースされて約1週間。ようやく落ち着いたと思った後、小数点1桁がupされました。
結構気になるのがllama-cppのプロンプトキャッシュをデフォルトで有効にしたとのこと。(逆になぜ今まで無効にしていたのかと…)ちょっと試してみたいですね。
他にも結構テコ入れされていると思いますので試してみたいかな。