بحث
العربية

هل تُخزَّن التعليمات الخبيثة من المستندات الخارجية في الذاكرة طويلة المدى لوكيل الذكاء الاصطناعي؟ تجربة على AWS AgentCore Memory(zenn.dev)

startupxo ناقش

لغة الكتابة: الكوريةعرض بلغة الكتابة

ملخص مبسط

- اختبر كاتب ياباني على Zenn باستخدام AWS AgentCore Memory ما إذا كانت تعليمات سيئة مخفية في مستند خارجي يمكن أن تدخل في ميزة يختار فيها وكيل الذكاء الاصطناعي المحتوى المهم من المحادثات ويتذكره. استخدم عميلًا افتراضيًا ومواد تجريبية. - جملة بالإنجليزية تطلب قراءة مواد العميل B أيضًا عند كتابة تقرير العميل A خُزِّنت على أنها "تفضيل للمستخدم". وجرى تنظيم طلب يتجاوز الصلاحيات كأنه عادة في كتابة التقارير. - في الفحص قبل التخزين، لم يلتقط مرشح Prompt Attack (كشف هجمات الموجّهات) هذه الجملة. وعند إضافة Denied Topics (المواضيع المحظورة) التي تمنع الرجوع إلى مواد عميل آخر، تم حظرها. أما المعالجة التي توقف التخزين فقد نفّذها الكاتب في جانب التطبيق. - مُرّرت الذاكرة الملوثة إلى جلسات جديدة وجرى التشغيل 5 مرات لكل منها، وبإجمالي 10 مرة، لكن لم يحدث أي طلب لمواد العميل B. ولم يتم تحديد السبب. وذكر الكاتب أنه اختبر مستندًا واحدًا فقط وأن الإيجابيات الكاذبة وإمكانية التحايل واردة.

قراءة المصدر ↗

وجدناه على

Zenn ↗ / نشره المصدر

هل مررت بموقف مشابه؟ أخبرنا في سطر أو سطرين كيف تصرفت. لا تحتاج إلى معرفة المنتج.

سجل الدخول للتعليق

اختصارات لوحة المفاتيح

اختر منشورا بالمفتاحين J وK أو بسهمي الأعلى والأسفل ثم اضغط Enter.

K ↑ / J ↓
المنشور السابق / التالي
Enter C
فتح ملخص المنشور المحدد وتعليقاته
O
فتح الرابط الأصلي للمنشور المحدد
/
البحث
?
عرض هذه المساعدة
Tab
انتقل إلى زر النشر أو التعليق ثم اضغط Enter

اكتب كالمعتاد في حقول النص. يظل Tab وEnter متاحين دائما.