Buscar
Español

¿Se pueden guardar instrucciones maliciosas de documentos externos en la memoria a largo plazo de un agente de IA? Un experimento con AWS AgentCore Memory(zenn.dev)

startupxo Conversar

Idioma del texto: coreanoVer en el idioma original

Resumen sencillo

- Un autor japonés de Zenn probó con AWS AgentCore Memory si instrucciones dañinas ocultas en un documento externo pueden entrar en la función con la que un agente de IA selecciona y recuerda lo importante de las conversaciones. Usó un cliente ficticio y materiales simulados. - Una frase en inglés que pedía leer también los materiales del cliente B al redactar el informe del cliente A se guardó como una "preferencia del usuario". Una petición fuera de su autorización quedó organizada como si fuera un hábito de redacción de informes. - En la revisión previa al almacenamiento, el filtro Prompt Attack (detección de ataques de prompt) no detectó esta frase. Al añadir Denied Topics (temas denegados) que prohíben consultar materiales entre clientes, fue bloqueada. El autor implementó en la aplicación el proceso que detiene el almacenamiento. - La memoria contaminada se pasó a nuevas sesiones y se ejecutó 5 veces cada una, 10 veces en total, pero no hubo ninguna petición de materiales del cliente B. No se pudo determinar el motivo. El autor probó solo un documento y señaló que pueden existir falsos positivos y formas de eludir el filtro.

Leer la fuente ↗

Encontrado en

Zenn ↗ / Publicado por la fuente

¿Te ha pasado algo parecido? Cuéntanos en una o dos líneas qué hiciste. No hace falta conocer el producto.

Inicia sesión para comentar

Atajos de teclado

Elige una publicación con J y K o con las flechas y pulsa Enter.

K ↑ / J ↓
Publicación anterior / siguiente
Enter C
Abrir el resumen y los comentarios de la publicación elegida
O
Abrir el enlace original de la publicación elegida
/
Buscar
?
Mostrar esta ayuda
Tab
Ve al botón de publicar o comentar y pulsa Enter

Escribe con normalidad en los campos de texto. Tab y Enter siempre están disponibles.