검색
한국어

Goodfire, AI 에이전트의 내부 신호를 읽어 감시하는 저비용 도구 공개(techcrunch.com)

startupxo 토론하기

작성 언어: 한국어작성 언어로 보기

쉬운 요약

- AI 에이전트가 잘못된 행동을 하는지 보통은 다른 AI가 결과물을 다시 읽어 확인한다. Goodfire는 모델이 작업하는 중 내부에서 계산하는 신호를 작은 감지기인 프로브로 읽는 방식을 내놓았다고 밝혔다. - 회사 테스트에서 Kimi K3 모델의 세션 약 1,500개를 감시하는 비용은 약 51달러였다. 같은 작업을 모든 단계마다 검사하는 저렴한 AI 모델로 하면 233달러, 최상위 모델로는 약 1만 달러가 든다고 회사는 밝혔다. - 같은 테스트에서 악성 해킹 세션의 94%를 잡아냈고, 무해한 세션의 8.7%를 추가 검토로 보냈다. 프로브 4개를 동시에 돌려도 모델이 응답을 시작하기까지 걸리는 시간은 2% 미만 늘었다고 회사는 설명했다. - Baseten 고객은 감시 대상으로 해킹, 생화학 무기 오용, 보상 해킹 중에서 고를 수 있고, 발견했을 때 대응은 기록, 사람 검토, 요청 거부 가운데 정할 수 있다.

원문 읽기 ↗

발견한 곳

TechCrunch ↗ / 매체 발행 글

비슷한 일을 겪어 본 적이 있나요? 그때 어떻게 했는지 한두 줄로 들려주세요. 제품을 잘 몰라도 괜찮습니다.

로그인하고 댓글 쓰기

키보드 단축키

J와 K, 또는 위아래 방향키로 글을 고르고 Enter로 엽니다.

K ↑ / J ↓
이전 글 / 다음 글
Enter C
선택한 글의 요약과 댓글 열기
O
선택한 글의 원문 열기
/
검색
?
이 도움말 보기
Tab
글쓰기나 댓글 버튼으로 이동한 뒤 Enter

입력 칸에서는 평소처럼 입력하세요. Tab과 Enter는 항상 사용할 수 있습니다.