- Dust هو خوارزمية جديدة تطبق تغيرات عشوائية على قيم التنشيط العصبي لكل توكن، وتقدر التدرجات عبر قياس ومتابعة مدى تقليل هذه التغيرات للخسارة لكل توكن ثم تأخذ متوسطها.
- استراتيجيات التطور التقليدية تحتاج إلى تمرير أمامي منفصل لكل وزن، لكن Dust يطبق التغيرات بشكل مستقل على مستوى التوكن ويقيّم آلاف التغيرات في تمرير أمامي واحد، مما يحسن الكفاءة الحسابية بشكل كبير.
- في تجارب فريق البحث في Q Labs، حقق Dust تحسين كفاءة يتراوح بين 1000 و1 مرات مقارنة بـ EGGROLL، وهي استراتيجية تطورية تقليدية في فضاء الأوزان، بدءًا من تدريب أكثر من 100 مليون توكن، وكان هذا التحسن في الكفاءة أكثر وضوحًا مع زيادة حجم النموذج.
- كما تم التأكد من أن التدرجات المقدرة باستخدام استراتيجيات التطور حتى حجم 10 مئات الملايين من التوكن متوافقة جيدًا مع نتائج الرجوع الخلفي، رغم أن الكفاءة الحسابية الحالية غير كافية لاستبدال الرجوع الخلفي بالكامل.
فكرة إنشاء كيانات افتراضية لكل رمز لتقييم متوازي، من خلال إدخال ضوضاء عشوائية في مرحلة التفعيل وتعويض تغيرات الخسارة لكل رمز لتقدير التدرج، تبدو فكرة مميزة. مع ذلك، يبدو من الضروري التحقق بشكل أكثر تحديدًا كيف تؤثر هذه التعديلات العشوائية في فضاء التفعيل على حساب الخسائر لكل طبقة وعلى استقرار تدريب النموذج.