他のモデルも…

stable-diffusion.cppの新しいモデルへの対応も随時行われていてとても気にはなっています。

最近新たに対応されたモデルについて少し見てみると、モデル自体が結構巨大なものだったり…世間的な流行りははやり巨大モデルですよねぇ

時間ができたので少しソースの整理を…

ggmlが結構更新されているようで、llama.cppとstable-diffusion.cppのコンパイルに支障が出そうなのでマージ作業をぼちぼちやっていました。

憧れのAOT

実行時間を見ていると、今までそんな感じはあまりなかったのですが、どうも初回の時に確実に時間がかかっている印象。

特定の条件下だと、この初回の待ち時間が無いような感じがするのと、特定の条件下だと不意に時間がかかるような感じがハッキリと見てて来ました。

祝 脱wait()♪

右往左往しながらようやく本腰入れて検索しまくったりgeminiに聞いたりしながらようやく無駄な非同期タイミングのwait()を卒業することができました。

型キャスト

結構甘く見ていた型キャスト…やらかしました。