Goodfire, AI 에이전트의 내부 신호를 읽어 감시하는 저비용 도구 공개(techcrunch.com)
작성 언어: 한국어작성 언어로 보기
쉬운 요약
- AI 에이전트가 잘못된 행동을 하는지 보통은 다른 AI가 결과물을 다시 읽어 확인한다. Goodfire는 모델이 작업하는 중 내부에서 계산하는 신호를 작은 감지기인 프로브로 읽는 방식을 내놓았다고 밝혔다.
- 회사 테스트에서 Kimi K3 모델의 세션 약 1,500개를 감시하는 비용은 약 51달러였다. 같은 작업을 모든 단계마다 검사하는 저렴한 AI 모델로 하면 233달러, 최상위 모델로는 약 1만 달러가 든다고 회사는 밝혔다.
- 같은 테스트에서 악성 해킹 세션의 94%를 잡아냈고, 무해한 세션의 8.7%를 추가 검토로 보냈다. 프로브 4개를 동시에 돌려도 모델이 응답을 시작하기까지 걸리는 시간은 2% 미만 늘었다고 회사는 설명했다.
- Baseten 고객은 감시 대상으로 해킹, 생화학 무기 오용, 보상 해킹 중에서 고를 수 있고, 발견했을 때 대응은 기록, 사람 검토, 요청 거부 가운데 정할 수 있다.
발견한 곳
TechCrunch ↗ / 매체 발행 글
비슷한 일을 겪어 본 적이 있나요? 그때 어떻게 했는지 한두 줄로 들려주세요. 제품을 잘 몰라도 괜찮습니다.