기업 AI 비용이 통제 불능이 되는 이유, 내부 컨텍스트 없이 모델을 쓰기 때문이다

어떤 문제인가

기업이 Copilot이나 Claude for Enterprise를 도입하고 나서 3개월이 지나면 비용 청구서가 예상을 훨씬 넘는다. 원인을 분석하면 AI가 같은 정보를 반복해서 검색하고, 부정확한 답을 내면 재질문이 이어진다. 한 문서 요약에 20번의 API 호출이 들어가는 경우가 드물지 않다.

근본 원인은 AI가 기업 내부 맥락 없이 작동하기 때문이다. “Q3 마케팅 예산 현황”을 물으면 AI는 Slack, Jira, Confluence, ERP 여기저기를 순서 없이 뒤진다. 어디에 무엇이 있는지 모르니까.

flowchart LR
    A[사용자 질문] --> B{컨텍스트 그래프 없음}
    B --> C[Slack 검색 5회]
    B --> D[Jira 검색 3회]
    B --> E[ERP 쿼리 2회]
    C & D & E --> F[부정확한 답 → 재질문]
    F --> B

왜 지금인가

기업 AI 도입률이 80%를 넘은 반면, AI 예산 초과를 경험한 기업도 60%를 넘는다(2026 McKinsey AI Survey 기준). AI 비용 최적화는 2026년 IT 예산 심의에서 가장 많이 언급되는 항목이 됐다. Glean이 $300M ARR을 달성한 시장이 국내에선 아직 비어있다.

어떻게 만들 수 있나

MVP는 두 단계다.

1단계, 커넥터 레이어: 카카오워크, 네이버웍스, 슬랙, 지라, 컨플루언스, 더존 ERP의 데이터를 읽어오는 읽기 전용 API 커넥터. 각 데이터 소스의 메타데이터(파일 타입, 업데이트 날짜, 작성자, 관련 프로젝트)를 수집한다.

2단계, 컨텍스트 인덱스: 데이터 간 관계를 그래프 DB에 매핑한다. “Q3 마케팅 예산”이라는 쿼리가 들어오면 그래프를 통해 가장 관련성 높은 1-2개 소스만 AI에 전달한다. API 호출 수가 대폭 줄어든다.

비용 절감 시뮬레이터를 무료 온보딩 도구로 제공하면 세일즈 허들이 낮아진다.

성공 조건

핵심 가정: 기업들이 AI 비용 절감을 위해 내부 시스템 접근 권한을 SaaS 업체에 허용할 것인가. 국내 기업의 데이터 보안 민감도가 높아 초기엔 on-premise 또는 Private Cloud 배포 옵션이 필수적이다. 파일럿 3개사에서 실제 API 호출 30% 이상 절감을 증명하면 확장 가능하다.