- Este artículo explica cómo los modelos de lenguaje grandes almacenan y recuperan enormes cantidades de información. El autor considera las capas del modelo como un dispositivo de memoria que empareja pistas (claves) con los contenidos que se recuperan (valores), y llama memoria asociativa a la estructura que recupera contenidos usando pistas parecidas.
- La capa lineal más simple construye la memoria multiplicando claves por valores y sumando los resultados. El autor estima que, suponiendo claves de 64 dimensiones, este método solo puede recuperar de forma fiable unas 64 memorias.
- El autor sostiene que los MLP aumentan a la vez la capacidad de almacenamiento y la precisión de recuperación, y explica que la autoatención recupera con gran exactitud y no tiene un límite teórico claro en el número de elementos almacenados. Bajo la misma condición de claves de 64 dimensiones, las cifras de unas 2,700 y de 1 millón o más también son estimaciones que presenta el autor.
- A medida que se acumulan más memorias, aumenta el grado en que las demás memorias interfieren con la recuperación. El artículo usa esta razón entre interferencia y señal como métrica clave para comparar la capacidad de cada estructura.
O: Esto encaja con una escena en la que un estudiante de posgrado que quiere entender por sí mismo cómo funciona la memoria asociativa calcula a mano el límite de 64 elementos de una capa lineal.
X: Las cifras de capacidad 64, 2,700 y 1 millón o más son estimaciones teóricas del autor que suponen claves de 64 dimensiones, así que son difíciles de considerar mediciones de un modelo real.