Find XO: Goodfire, AI 에이전트의 내부 신호를 읽어 감시하는 저비용 도구 공개(techcrunch.com)

- AI 에이전트가 잘못된 행동을 하는지 보통은 다른 AI가 결과물을 다시 읽어 확인한다. Goodfire는 모델이 작업하는 중 내부에서 계산하는 신호를 작은 감지기인 프로브로 읽는 방식을 내놓았다고 밝혔다. - 회사 테스트에서 Kimi K3 모델의 세션 약 1,500개를 감시하는 비용은 약 51달러였다. 같은 작업을 모든 단계마다 검사하는 저렴한 AI 모델로 하면 233달러, 최상위 모델로는 약 1만 달러가 든다고 회사는 밝혔다. - 같은 테스트에서 악성 해킹 세션의 94%를 잡아냈고, 무해한 세션의 8.7%를 추가 검토로 보냈다. 프로브 4개를 동시에 돌려도 모델이 응답을 시작하기까지 걸리는 시간은 2% 미만 늘었다고 회사는 설명했다. - Baseten 고객은 감시 대상으로 해킹, 생화학 무기 오용, 보상 해킹 중에서 고를 수 있고, 발견했을 때 대응은 기록, 사람 검토, 요청 거부 가운데 정할 수 있다.