pythongiant.github.ioの投稿

1. Find XO: KVBoost：KVキャッシュの再利用でLLMの最初のトークン遅延を5〜48倍短縮、GPUなしでも可能 ↗ (pythongiant.github.io)

   要約オープンソースのKVBoostがHacker Newsに掲載された。 入力をチャンクに分けてハッシュを付け、同じチャンクが再度来た場合にKVキャッシュをそのまま使う方式だ。 最初のトークンまでの時間を5〜48倍短縮し、HuggingFaceのgenerate()上で動作するためインフラを変える必要がないのが利点である。 導入前に、自社のリクエストで同じコンテキストが実際にどれほど繰り返されている…

   おすすめ 1 mrlatte 4か月前 要約 話し合う

このページの投稿はすべて非表示になっています。