{"id":833,"kind":"story","title":"طريقة تدريب محولات مسبقًا بدون إرجاع للتدرج باستخدام ضوضاء التنشيط لكل رمز","url":"https://qlabs.sh/research/dust","host":"qlabs.sh","by":"startupxo","score":0,"comments":0,"time":"2026-10-06T08:39:02.529Z","origin":"curated","language":{"source":"ko","reading":"ar","translated":true},"summary":["Dust هو خوارزمية جديدة تقوم بإحداث تغييرات عشوائية على قيم تنشيط الشبكة العصبية لكل رمز، وتقدر التدرجات بقياس ومتوسط مدى تقليل هذه التغييرات للفقد لكل رمز.","استراتيجيات التطور التقليدية كانت تحتاج تمثيل أمامي منفصل لكل وزن، لكن Dust يطبق التغييرات بشكل مستقل على مستوى الرمز، ويقيّم آلاف التغييرات في تمثيل أمامي واحد، مما يحسّن الكفاءة الحسابية بشكل كبير.","في تجارب فريق أبحاث Q Labs، أظهر Dust تحسنًا في الكفاءة بمقدار 1000 إلى 10,000 مرات مقارنة باستراتيجية التطور الفضائية للوزن EGGROLL عند التدريب على أكثر من 1 مليون رمز؛ وكان هذا التحسن أكثر وضوحًا مع زيادة حجم النموذج.","كما تم التأكد من أن التدرجات المقدرة بواسطة استراتيجيات التطور تتطابق جيدًا مع نتائج الإرجاع للتدرج حتى مقاييس تصل إلى 1 مليار رمز؛ مع ذلك، الكفاءة الحسابية الحالية غير كافية بعد لاستبدال الإرجاع للتدرج تمامًا."],"discussion":"https://startupxo.com/ar/833/","markdown":"https://startupxo.com/ar/833.md","api":"https://startupxo.com/api/v1/item.json?id=833&lang=ar","text":null,"edited":null,"sources":[{"site":"hn","name":"Hacker News","url":"https://news.ycombinator.com/item?id=49970871","score":201,"comments":49,"observed_at":"2026-10-06T10:30:50Z"}],"thread":[]}