검색
한국어

AI 에이전트 장기 기억에 외부 문서의 악성 지시가 저장될까, AWS AgentCore Memory 실험(zenn.dev)

startupxo 토론하기

작성 언어: 한국어작성 언어로 보기

쉬운 요약

- AI 에이전트가 대화에서 중요한 내용을 골라 기억해 두는 기능에, 외부 문서에 숨긴 나쁜 지시가 들어가는지 일본 Zenn 필자가 AWS AgentCore Memory로 실험했다. 가상 고객과 모의 자료를 썼다. - 고객 A 보고서를 쓸 때 고객 B 자료도 읽으라는 영어 문장이 '사용자의 선호'로 저장됐다. 권한 밖 요구가 보고서 작성 습관처럼 정리됐다. - 저장 전 검사에서 Prompt Attack(프롬프트 공격 탐지) 필터는 이 문장을 잡지 못했다. 고객 간 자료 참조를 금지하는 Denied Topics(금지 주제)를 추가하자 차단됐다. 저장을 멈추는 처리는 필자가 앱 쪽에서 구현했다. - 오염된 기억을 새 세션에 넘겨 5회씩 총 10회 실행했으나 고객 B 자료 요청은 없었다. 이유는 특정하지 못했다. 필자는 문서 하나만 시험했고 오탐과 우회 가능성이 있다고 밝혔다.

원문 읽기 ↗

발견한 곳

Zenn ↗ / 매체 발행 글

비슷한 일을 겪어 본 적이 있나요? 그때 어떻게 했는지 한두 줄로 들려주세요. 제품을 잘 몰라도 괜찮습니다.

로그인하고 댓글 쓰기

키보드 단축키

J와 K, 또는 위아래 방향키로 글을 고르고 Enter로 엽니다.

K ↑ / J ↓
이전 글 / 다음 글
Enter C
선택한 글의 요약과 댓글 열기
O
선택한 글의 원문 열기
/
검색
?
이 도움말 보기
Tab
글쓰기나 댓글 버튼으로 이동한 뒤 Enter

입력 칸에서는 평소처럼 입력하세요. Tab과 Enter는 항상 사용할 수 있습니다.