هل تُخزَّن التعليمات الخبيثة من المستندات الخارجية في الذاكرة طويلة المدى لوكيل الذكاء الاصطناعي؟ تجربة على AWS AgentCore Memory(zenn.dev)
لغة الكتابة: الكوريةعرض بلغة الكتابة
ملخص مبسط
- اختبر كاتب ياباني على Zenn باستخدام AWS AgentCore Memory ما إذا كانت تعليمات سيئة مخفية في مستند خارجي يمكن أن تدخل في ميزة يختار فيها وكيل الذكاء الاصطناعي المحتوى المهم من المحادثات ويتذكره. استخدم عميلًا افتراضيًا ومواد تجريبية.
- جملة بالإنجليزية تطلب قراءة مواد العميل B أيضًا عند كتابة تقرير العميل A خُزِّنت على أنها "تفضيل للمستخدم". وجرى تنظيم طلب يتجاوز الصلاحيات كأنه عادة في كتابة التقارير.
- في الفحص قبل التخزين، لم يلتقط مرشح Prompt Attack (كشف هجمات الموجّهات) هذه الجملة. وعند إضافة Denied Topics (المواضيع المحظورة) التي تمنع الرجوع إلى مواد عميل آخر، تم حظرها. أما المعالجة التي توقف التخزين فقد نفّذها الكاتب في جانب التطبيق.
- مُرّرت الذاكرة الملوثة إلى جلسات جديدة وجرى التشغيل 5 مرات لكل منها، وبإجمالي 10 مرة، لكن لم يحدث أي طلب لمواد العميل B. ولم يتم تحديد السبب. وذكر الكاتب أنه اختبر مستندًا واحدًا فقط وأن الإيجابيات الكاذبة وإمكانية التحايل واردة.
وجدناه على
Zenn ↗ / نشره المصدر
هل مررت بموقف مشابه؟ أخبرنا في سطر أو سطرين كيف تصرفت. لا تحتاج إلى معرفة المنتج.