Find XO: KVBoost：KVキャッシュの再利用でLLMの最初のトークン遅延を5〜48倍短縮、GPUなしでも可能 (pythongiant.github.io)

- オープンソースのKVBoostがHacker Newsに掲載された。 - 入力をチャンクに分けてハッシュを付け、同じチャンクが再度来た場合にKVキャッシュをそのまま使う方式だ。 - 最初のトークンまでの時間を5〜48倍短縮し、HuggingFaceのgenerate()上で動作するためインフラを変える必要がないのが利点である。 - 導入前に、自社のリクエストで同じコンテキストが実際にどれほど繰り返されているかを確認しなければ、この数値は意味を持たない。