2026年4月11日土曜日

local-ai backend/cpp/llama-cpp/grpc-server.cpp チャット時の最初のトークンのダブり対応

LocalAI v4.1.3でllama-cppを使用していて、個人的に非常に直したかった部分の対応が行われていました。(リリースは現時点ではかかっていません)

Commitは 9748a1cbc63178233fca8d170f424e0f38cb5dbf

原因としては今までチャットで返されるレスポンスの種類を変更したために発生したものです。おそらく予想していたレスポンスの内容(おそらく空であると想定していたと思います。)と実際のレスポンスの内容が違っていたのでダブったのだと思います。

とりあえずこれでこのソースだけ引っ張ってmakeすれば遊べそうですo(^o^)o  

0 件のコメント:

コメントを投稿