Post #3482770

ローカルLLMは何のためか。エロのためだけじゃないよ。そして節約のためでもない。ローカルAIは非効率だからね。 1番のメリットは、生の機密情報をそのまま入力できること。もっとも、その出力をネットに流したら漏洩が発生しうるけど、逆に事前処理フィルタとしても使えるしね。 あとはrate limitがなく、従量課金でもないので、呼び出し回数を気にする必要がないのは大きいよ。厳密には電気代は従量課金だけど。 AI agentは、コマンド実行するたびに結果をevalする必要があり、そのたびKV cacheの読み込みが発生するため、プロプラLLM APIだとcached inputとか言って課金されるがそれがローカルではない。それだけでも嬉しいよ。 ほかにもIMEの予測変換ばりに、入力語が増えるたびにRAGの事前prefillするとか、NGワードを出力したら即座に推論打ち切ってやり直すとかの、プロプラLLM APIではありえない高頻度呼び出しができる。