Siriuth's Diary

2026年5月8日金曜日

気になりだしたのはここ１，２か月ぐらいかな？

とあるPCで突然スピーカーからノイズが走ったかと思うと、なんだかシステム全体がラグりだしていた。

最初は何が原因かわからなかったものの、よく見るとWifiの接続が切断状態になって再接続を繰り返しているような状態だった。その接続のたびにOneDriveやアップデートなどのプロセスが起動してシステム全体がラグるという最悪だな、この設計。

llama.cppのリリースを見ていてなにやらMiniCPM-V 4.6という名前を見かけた。

CPMと言うと、個人的な記憶としてはMS-DOSの前身となるOSだよねとか、そのぐらいの知識しかなくて、実際に触ったのは兄の払い下げが父親に譲り渡されたNEC PC-8801mkⅡに無線モデムをつないで、そのターミナルを動かすために使ったぐらい。

まぁここではそうではないんだろうと、早速検索してみると、8Bモデルクラスでマルチモーダルな全部入りでTTSとSTTが同時に行えて超クールな中国産のLLMモデルと言うようなことだった。

それをサポートしたというリリース情報。

早速これも試してみたいなぁ…たた環境が…そろってないしSSDもお腹いっぱいだからなぁ…

少し動作が違っていたように感じたので試してみました。

最初はdevの出力をしようとしましたが、残念ながらStep16で停止。

Sycl16とSycl32の違いをあまり気にせず単純に色々と軽そうだからという事でSycl16を使っていたのですが、もしかすると動作が変わるかもしれないという淡い期待の元makeしてみました。

そもそも、CUDAではF16にしないと処理時間が4倍になるという話を見かけたので、実質的に16ビット前提にやってたところがあります。

何となくStepが進んでたので出力してくれるかな？と言う期待を持ちつつ意識を手放したのですが、無事に出力を終えることができました。