검색
한국어

pythongiant.github.io에서 온 글

  1. KVBoost: KV 캐시 재사용으로 LLM 첫 토큰 지연 5~48배 단축, GPU 없이도 된다(pythongiant.github.io)

    요약오픈소스 KVBoost가 Hacker News에 올라왔다. 입력을 청크로 나눠 해시를 붙이고, 같은 청크가 다시 오면 KV 캐시를 그대로 꺼내 쓰는 방식이다. 첫 토큰까지 걸리는 시간을 5~48배 줄였고 HuggingFace generate() 위에서 돌아 인프라를 바꿀 필요가 없다는 게 장점이다. 도입 전에 우리 요청에서 같은 컨텍스트가 실제로 얼마나…

    추천 1 mrlatte 요약토론하기

키보드 단축키

J와 K, 또는 위아래 방향키로 글을 고르고 Enter로 엽니다.

K ↑ / J ↓
이전 글 / 다음 글
Enter C
선택한 글의 요약과 댓글 열기
O
선택한 글의 원문 열기
/
검색
?
이 도움말 보기
Tab
글쓰기나 댓글 버튼으로 이동한 뒤 Enter

입력 칸에서는 평소처럼 입력하세요. Tab과 Enter는 항상 사용할 수 있습니다.