بحث
العربية

طريقة تدريب محولات مسبقًا بدون إرجاع للتدرج باستخدام ضوضاء التنشيط لكل رمز(qlabs.sh)

startupxo ناقش

لغة الكتابة: الكوريةعرض بلغة الكتابة

ملخص مبسط

- Dust هو خوارزمية جديدة تقوم بإحداث تغييرات عشوائية على قيم تنشيط الشبكة العصبية لكل رمز، وتقدر التدرجات بقياس ومتوسط مدى تقليل هذه التغييرات للفقد لكل رمز. - استراتيجيات التطور التقليدية كانت تحتاج تمثيل أمامي منفصل لكل وزن، لكن Dust يطبق التغييرات بشكل مستقل على مستوى الرمز، ويقيّم آلاف التغييرات في تمثيل أمامي واحد، مما يحسّن الكفاءة الحسابية بشكل كبير. - في تجارب فريق أبحاث Q Labs، أظهر Dust تحسنًا في الكفاءة بمقدار 1000 إلى 10,000 مرات مقارنة باستراتيجية التطور الفضائية للوزن EGGROLL عند التدريب على أكثر من 1 مليون رمز؛ وكان هذا التحسن أكثر وضوحًا مع زيادة حجم النموذج. - كما تم التأكد من أن التدرجات المقدرة بواسطة استراتيجيات التطور تتطابق جيدًا مع نتائج الإرجاع للتدرج حتى مقاييس تصل إلى 1 مليار رمز؛ مع ذلك، الكفاءة الحسابية الحالية غير كافية بعد لاستبدال الإرجاع للتدرج تمامًا.

قراءة المصدر ↗

وجدناه على

Hacker News ↗ / التوصيات: 201 / التعليقات: 49

هل مررت بموقف مشابه؟ أخبرنا في سطر أو سطرين كيف تصرفت. لا تحتاج إلى معرفة المنتج.

سجل الدخول للتعليق

اختصارات لوحة المفاتيح

اختر منشورا بالمفتاحين J وK أو بسهمي الأعلى والأسفل ثم اضغط Enter.

K ↑ / J ↓
المنشور السابق / التالي
Enter C
فتح ملخص المنشور المحدد وتعليقاته
O
فتح الرابط الأصلي للمنشور المحدد
/
البحث
?
عرض هذه المساعدة
Tab
انتقل إلى زر النشر أو التعليق ثم اضغط Enter

اكتب كالمعتاد في حقول النص. يظل Tab وEnter متاحين دائما.