- يشرح هذا المقال كيف تخزن نماذج اللغة الكبيرة كميات هائلة من المعلومات وتسترجعها. يرى المؤلف طبقات النموذج جهازَ ذاكرة يقرن الإشارات (المفاتيح) بالمحتويات المراد استرجاعها (القيم)، ويسمي البنية التي تسترجع المحتوى باستخدام إشارات مشابهة ذاكرةً ترابطية.
- تبني الطبقة الخطية الأبسط الذاكرة بضرب المفاتيح في القيم وجمع الناتج. يقدّر المؤلف أنه، بافتراض مفاتيح ذات 64 بُعدًا، لا تستطيع هذه الطريقة أن تسترجع بثبات سوى نحو 64 ذكرى.
- يرى المؤلف أن شبكات MLP ترفع سعة التخزين ودقة الاسترجاع معًا، ويشرح أن الانتباه الذاتي يسترجع بدقة عالية ولا يملك حدًا أعلى نظريًا واضحًا لعدد العناصر المخزنة. وتحت الشرط نفسه المتعلق بمفاتيح ذات 64 بُعدًا، فإن الأرقام التي تقارب 2,700 و1 مليون أو أكثر هي أيضًا تقديرات قدّمها المؤلف.
- كلما تراكمت الذكريات، ازدادت درجة تداخل الذكريات الأخرى مع الاسترجاع. يستخدم المقال نسبة التداخل إلى الإشارة مقياسًا أساسيًا لمقارنة سعة كل بنية.
O: هذا الاقتراح مناسب لمشهد طالب دراسات عليا يريد أن يتحقق بنفسه من طريقة عمل الذاكرة الترابطية، فيحسب يدويًا حد 64 عنصرًا للطبقة الخطية.
X: أرقام السعة 64 و2,700 و1 مليون فأكثر هي تقديرات نظرية للمؤلف تفترض مفاتيح ذات 64 بُعدًا، لذلك يصعب اعتبارها قياسات من نموذج فعلي.