직원이 토큰을 다 태운다 — AI 지출 거버넌스 도구

어떤 문제인가

작년까지는 단순했다. 앤트로픽과 오픈AI가 정액제로 팔았으니, 기업은 한 달에 얼마를 낼지 미리 알았다. 2026년에 둘 다 상당 부분을 토큰 과금으로 옮기면서 판이 바뀌었다. 이제 모든 프롬프트, 모든 자동화 워크플로가 청구서에 직접 찍힌다. 결과는 빠르고 아팠다. 우버는 연간 AI 예산을 4개월 만에 다 태우고, 4월부터 직원 1인당 코딩 툴 월 1,500달러 상한을 걸었다. 월마트는 내부 바이브코딩 플랫폼 ‘코드 퍼피’의 사용량이 폭발하자 토큰을 막았고, 아마존은 엔지니어들이 사내 리더보드 순위를 올리려 에이전트를 남발하자 “쓰기 위해 쓰지 말라”고 경고했다. 문제의 본질은 가시성의 부재다. 클라우드 비용은 기존 FinOps 도구가 들여다보지만, LLM API는 외부 서비스라 그 안에서 누가·어느 팀이·어떤 작업에 토큰을 얼마나 태웠는지 보이지 않는다. CFO는 “우리가 AI에 쓰는 돈만큼 가치를 얻고 있나”라는 질문에 답할 데이터가 없다.

왜 지금인가

타이밍이 두 갈래로 맞아떨어졌다. 첫째, 과금 모델이 막 바뀌었다. 정액제에서 토큰 과금으로의 전환은 2026년에 본격화됐고, 그 전까지는 애초에 이런 도구가 필요 없었다. 비용이 보이지 않으니 통제 수요도 없었다. 둘째, 고통이 헤드라인으로 터졌다. 우버·월마트·아마존 같은 대기업이 공개적으로 상한을 걸기 시작했다는 건, 그 아래 수많은 중견 기업이 같은 문제를 조용히 앓고 있다는 신호다. 업계는 ‘토큰을 마음껏 태우는’ 시대에서 ‘토큰 배급제’로 꺾이는 중이다. 그런데 기존 클라우드 FinOps 도구는 EC2나 S3 같은 인프라 비용은 잡아도, 외부 LLM API의 내부는 못 본다. 구매 의사는 이미 생겼는데 그걸 받아 줄 제품이 비어 있다. 이 빈 분기에 들어가는 게 핵심이다.

어떻게 만들 수 있나

LLM 호출의 길목에 프록시·게이트웨이를 한 겹 깐다. 모든 API 호출이 이 계층을 지나가게 해서, 누가(직원·팀·API 키)·어떤 작업에·어떤 모델로·토큰을 얼마나 썼는지 전부 기록한다. 핵심 기능은 셋이다. 첫째, 비용 귀속 — 지출을 직원·팀·프로젝트·작업 단위로 쪼개 대시보드에 펼친다. CFO가 보던 그 질문에 숫자로 답하게 한다. 둘째, 예산 가드레일 — 팀·개인별 한도를 걸고, 임계치에서 경고하거나 자동으로 막는다. 우버가 수작업으로 한 걸 정책으로 자동화한다. 셋째, 정책 라우팅 — 분류·요약 같은 단순 작업은 저가 모델로 자동으로 내리고, 복잡한 추론만 고가 모델에 보낸다. 단순히 막는 게 아니라 같은 일을 더 싸게 끝내 준다. 기존 옵저버빌리티 스택과 SSO·SCIM으로 붙여 도입 마찰을 줄인다.

성공 조건

‘있으면 좋은 대시보드’에 머물면 죽는다. 처음부터 돈을 아끼는 게 눈에 보여야 한다 — 도입 첫 달에 라우팅으로 지출을 20~30% 깎아 주는 식의 즉각적 ROI가 영업 메시지가 되어야 한다. 영업은 개발팀이 아니라 CFO·CIO를 향한다. 결재권자가 “AI 지출이 통제 가능해졌다”고 느껴야 결재가 난다. 위험은 둘이다. 하나, 앤트로픽·오픈AI가 자체 콘솔에 이 기능을 내재화하면 단일 사업자 안에서는 의미가 줄어든다. 따라서 여러 모델 사업자를 횡단하는 중립적 비용 거버넌스라는 자리를 빨리 선점해야 한다. 둘, 프록시가 모든 호출을 지나가니 지연과 장애의 단일 실패점이 된다. 그래서 게이트웨이는 가볍고 죽지 않게, 그리고 프롬프트 데이터를 함부로 보지 않게 — 자기 제품의 거버넌스가 고객보다 엄격해야 신뢰를 얻는다.