- النموذج Xiaomi-Lens-0، الذي ينشئ أقنعة تحدد مناطق الصورة، ينتقل إلى مسار MultiheadAttention عندما لا يكون flash-attn مثبتا. وعند تمرير قناع، كان هذا المسار ينشئ مصفوفة بحجم 16 رؤوس × مربع عدد الرقع.
- وفقا لقياسات الكاتب، بالنسبة إلى صورة بحجم 3 ميغابكسل، كانت ذروة VRAM الإضافية في خطوة القناع 18.02GB في المسار الأصلي و2.28GB في مسار SDPA. كانت بيئة الاختبار RTX 5090 32GB وWindows 11 مع عدم تثبيت flash-attn.
- توضح وثائق PyTorch أنه يُستخدم مسار محسّن عندما يكون need_weights=False. لكن عندما قرأ الكاتب مصدر CUDA، وجد أن هذا المسار لا يُدخل عند وجود قناع. وفي تحليل الأداء على CPU، استخدمت الطبقة نفسها في وضع التدريب SDPA، لذلك لم تظهر المشكلة إلا في استدلال eval.
- أفاد الكاتب بأنه في مقارنة شملت 6 عينة، تطابقت الرموز والمربعات، وتراوح IoU للأقنعة بين 0.9976 و0.9998. وهذه مقارنة محدودة، وليست تقييما شاملا للجودة.
O: يمكن لمهندس يتولى خادم الاستدلال الداخلي أن يقيس مرة واحدة ذروة ذاكرة GPU مع قناع الحشو في وضعي eval وinference_mode، ثم يقارنها بمسار SDPA.
X: الرقم هو الذروة الإضافية التي تضيفها خطوة القناع في بيئة الكاتب، وليس إجمالي VRAM. وينبغي أولا التنبه إلى أن النتائج قد تختلف إذا كانت وحدة GPU أو الدقة أو بنية النموذج مختلفة.