추론 능력엔 왜 현물 시장이 없을까, 남는 GPU를 파는 구조

어떤 문제인가

LLM 추론은 이미 토큰 단위로 값이 매겨진다. 입력 100만 토큰당 얼마, 출력 100만 토큰당 얼마 하는 식이다. 그런데 이 가격은 공급자마다 정찰제로 고정돼 있다. 오픈AI가 부르는 값, 아마존 베드록이 부르는 값이 따로 있고, 그 사이를 시세로 잇는 시장이 없다.

문제는 양쪽에 낭비가 쌓인다는 점이다. 한쪽에는 유휴 GPU가 있다. 자체 서버, 임대해둔 인스턴스, 학습이 끝나고 노는 카드에 남는 추론 능력이 매 순간 버려진다. 다른 쪽에는 대량 배치 작업을 돌리는 구매자가 있다. 문서 분류, 데이터 추출, 요약처럼 지연에 둔감하고 물량이 많은 일은 리스트 가격 그대로 내면 원가가 무겁다. 남는 능력을 싸게 넘길 판매자와 싸게 사고 싶은 구매자가 분명히 있는데, 둘을 이어 값을 정하는 현물 시장이 비어 있다. GPU 시간에는 스팟 시장이 있는데 정작 추론의 산출물인 토큰에는 없다.

왜 지금인가

세 가지가 동시에 맞아떨어졌다. 첫째, 토큰 가격이 이미 표준 단위가 됐다. 100만 토큰당 얼마라는 표기가 업계 공통이라 서로 다른 공급자를 같은 자로 비교할 수 있다. 둘째, 오픈 가중치 모델이 퍼지면서 같은 모델이 여러 공급자에서 똑같이 돌아간다. 브랜드가 아니라 “이 모델의 출력 토큰”이라는 대체 가능한 상품이 생긴 것이다. 셋째, 에이전트가 스스로 사올 수 있다. 실제로 mtok.market이 이 형태를 먼저 내놨다. 비수탁·판매자 호스팅 구조로, Base 체인의 USDC로 청크 단위 결제하고, 실제 배송된 거래에서 뽑은 중앙값을 시세로 보여주며, MCP로 에이전트가 직접 붙는다.

큰 흐름도 이쪽을 가리킨다. 상하이선물거래소, CME, ICE 같은 곳이 GPU 컴퓨트 선물을 설계 중이고, 토큰을 금이나 석유처럼 거래하자는 논의가 나온다(TechCrunch, arXiv). 선물이 논의되는 시장에는 대개 그 아래에 현물이 먼저 선다.

flowchart LR
  A[남는 추론 능력<br/>유휴 GPU·자체 서버] --> B[현물 오더북<br/>모델별 시세]
  C[배치 추론 수요<br/>분류·추출·요약] --> B
  B --> D[검증·정산<br/>비수탁 결제]
  D --> E[리스트가보다 싼 추론<br/>유휴 능력 수익화]

어떻게 만들 수 있나

핵심은 좁고 대체 가능한 상품 하나로 시작하는 것이다. 예를 들어 특정 오픈 모델의 출력 토큰, 그중에서도 지연에 둔감한 비동기 배치 작업만 먼저 다룬다. 판매자는 남는 능력을 시세에 걸고, 구매자는 오더북에서 가장 싼 물량을 집는다. 정산은 비수탁으로 두어 플랫폼이 자금이나 키를 쥐지 않게 한다. 결제 마찰을 낮추는 게 초기 유동성의 관건이다.

가장 어려운 조각은 검증이다. 판매자가 정말 그 모델을 돌렸는지, 응답을 몰래 값싼 모델로 바꿔치기하지 않았는지 확인해야 한다. 표본 재실행으로 결과를 대조하거나, 평판 점수와 담보를 걸게 하는 식으로 신뢰 계층을 얹는다. 수익은 매칭된 거래량에 얇은 수수료를 붙이는 구조가 자연스럽다. 처음부터 실시간 대화형 추론을 노리지 말고, 값에 민감하고 지연을 참아주는 배치부터 파고드는 게 현실적이다.

성공 조건

두 가정이 맞아야 한다. 첫째, 구매자가 “특정 브랜드”가 아니라 “이 모델을 돌리는 아무 판매자”를 받아들여야 한다. 배치·비실시간 작업에서는 이게 성립하지만, 지연과 안정성이 생명인 프로덕션 트래픽에서는 어렵다. 둘째, 배송된 토큰이 진짜라는 걸 값싸게 증명할 수 있어야 한다. 검증 비용이 절감액보다 크면 시장이 서지 않는다. 이 둘이 풀리면 유동성 플라이휠이 돈다. 판매자가 많아야 리스트가보다 싸지고, 싸야 구매자가 몰리고, 구매자가 몰려야 판매자가 더 붙는다. 먼저 이 바퀴를 굴린 곳이 추론 시장의 기준 시세를 쥔다.