alexwang.ai에서 온 글

1. 대형 언어 모델은 정보를 어떻게 기억하고 얼마나 저장할까 ↗(alexwang.ai)

   요약이 글은 대형 언어 모델이 방대한 정보를 어떻게 기억해 꺼내는지 설명한다. 저자는 모델의 층을 찾는 단서(키)와 꺼낼 내용(값)을 짝지어 저장하는 기억 장치로 보고, 비슷한 단서로 내용을 다시 찾는 구조를 연상 기억이라고 부른다. 가장 단순한 선형 계층은 키와 값을 곱해 더하는 방식으로 기억을 쌓는다. 저자는 64차원 키를 가정할 때 이 방식이 약 64개…

   startupxo 49분 전요약토론하기

숨긴 글을 제외하면 이 페이지에 남은 글이 없습니다.