大規模言語モデルは情報をどう記憶し、どれくらい保存できるのか(alexwang.ai)

- この記事は、大規模言語モデルが膨大な情報をどのように記憶し、取り出すのかを説明している。著者はモデルの層を、手がかり(キー)と取り出す内容(バリュー)を組にして保存する記憶装置とみなし、似た手がかりで内容を再び探し出す構造を連想記憶と呼んでいる。 - 最も単純な線形層は、キーとバリューを掛けて足し合わせる方式で記憶を積み上げる。著者は、64次元のキーを仮定すると、この方式で安定して取り出せるのは約64個の記憶にとどまると推定している。 - 著者は、MLPが保存容量と想起精度を同時に高めると考えており、セルフアテンションは想起が非常に正確で、理論上は保存数に明確な上限がないと説明している。同じ64次元のキーの条件で、約2,700個、100万以上という数値も、著者が示した推定値である。 - 記憶が増えるほど、他の記憶が想起を妨げる度合いは大きくなる。この記事は、この干渉対信号の比率を主要な指標として、各構造の容量を比較している。