Find XO: KVBoost: KV 캐시 재사용으로 LLM 첫 토큰 지연 5~48배 단축, GPU 없이도 된다 (pythongiant.github.io)

- 오픈소스 KVBoost가 Hacker News에 올라왔다. - 입력을 청크로 나눠 해시를 붙이고, 같은 청크가 다시 오면 KV 캐시를 그대로 꺼내 쓰는 방식이다. - 첫 토큰까지 걸리는 시간을 5~48배 줄였고 HuggingFace generate() 위에서 돌아 인프라를 바꿀 필요가 없다는 게 장점이다. - 도입 전에 우리 요청에서 같은 컨텍스트가 실제로 얼마나 반복되는지부터 재 봐야 숫자가 의미를 갖는다.