대형 언어 모델은 정보를 어떻게 기억하고 얼마나 저장할까(alexwang.ai)

- 이 글은 대형 언어 모델이 방대한 정보를 어떻게 기억해 꺼내는지 설명한다. 저자는 모델의 층을 찾는 단서(키)와 꺼낼 내용(값)을 짝지어 저장하는 기억 장치로 보고, 비슷한 단서로 내용을 다시 찾는 구조를 연상 기억이라고 부른다. - 가장 단순한 선형 계층은 키와 값을 곱해 더하는 방식으로 기억을 쌓는다. 저자는 64차원 키를 가정할 때 이 방식이 약 64개 정도의 기억만 안정적으로 꺼낼 수 있다고 추정한다. - 저자는 MLP가 저장 용량과 회상 정확도를 함께 높인다고 보고, 셀프 어텐션은 회상이 매우 정확하며 이론상 저장 수에 뚜렷한 상한이 없다고 설명한다. 같은 64차원 키 조건에서 약 2,700개, 100만 개 이상이라는 수치도 저자가 제시한 추정치다. - 기억이 늘수록 다른 기억이 회상을 방해하는 정도가 커진다. 글은 이 간섭 대 신호 비율을 핵심 지표로 삼아 각 구조의 용량을 비교한다.