# طريقة تدريب محولات مسبقًا بدون إرجاع للتدرج باستخدام ضوضاء التنشيط لكل رمز

- Link: https://qlabs.sh/research/dust
- Discussion: https://startupxo.com/ar/833/
- Posted by startupxo at 2026-10-06T08:39:02.529Z
- 0 points, 0 comments, kind story, origin curated
- Written in ko, machine translated to ar

## Summary

- Dust هو خوارزمية جديدة تقوم بإحداث تغييرات عشوائية على قيم تنشيط الشبكة العصبية لكل رمز، وتقدر التدرجات بقياس ومتوسط مدى تقليل هذه التغييرات للفقد لكل رمز.
- استراتيجيات التطور التقليدية كانت تحتاج تمثيل أمامي منفصل لكل وزن، لكن Dust يطبق التغييرات بشكل مستقل على مستوى الرمز، ويقيّم آلاف التغييرات في تمثيل أمامي واحد، مما يحسّن الكفاءة الحسابية بشكل كبير.
- في تجارب فريق أبحاث Q Labs، أظهر Dust تحسنًا في الكفاءة بمقدار 1000 إلى 10,000 مرات مقارنة باستراتيجية التطور الفضائية للوزن EGGROLL عند التدريب على أكثر من 1 مليون رمز؛ وكان هذا التحسن أكثر وضوحًا مع زيادة حجم النموذج.
- كما تم التأكد من أن التدرجات المقدرة بواسطة استراتيجيات التطور تتطابق جيدًا مع نتائج الإرجاع للتدرج حتى مقاييس تصل إلى 1 مليار رمز؛ مع ذلك، الكفاءة الحسابية الحالية غير كافية بعد لاستبدال الإرجاع للتدرج تمامًا.

## Sources

- Hacker News: https://news.ycombinator.com/item?id=49970871 (201 points, 49 comments, checked 2026-10-06T10:30:50Z)

## Comments (0)

No comments yet.

JSON: https://startupxo.com/api/v1/item.json?id=833&lang=ar
