推論能力になぜ現物市場がないのか、余ったGPUを売る仕組み

どんな問題か

LLM推論はすでにトークン単位で値づけされている。入力100万トークンあたりいくら、出力100万トークンあたりいくら、という形だ。ところがこの価格は提供者ごとの定価で固定されている。OpenAIが提示する値、Amazon Bedrockが提示する値が別々にあり、その間を時価でつなぐ市場がない。

問題は両側に無駄が積み上がることだ。片側には余ったGPUがある。自社サーバー、借りたインスタンス、学習が終わって遊んでいるカードに、余った推論能力が毎瞬間捨てられている。もう片側には大量のバッチ処理を回す買い手がいる。文書分類、データ抽出、要約のように遅延に鈍く量が多い仕事は、定価をそのまま払うと原価が重い。余った能力を安く手放したい売り手と、安く買いたい買い手が確かにいるのに、両者をつないで値を決める現物市場が空いている。GPU時間にはスポット市場があるのに、肝心の推論の産物であるトークンにはない。

なぜ今か

三つが同時にかみ合った。第一に、トークン価格がすでに標準単位になった。100万トークンあたりいくらという表記が業界共通なので、異なる提供者を同じ物差しで比べられる。第二に、オープンウェイトモデルが広がり、同じモデルが複数の提供者でまったく同じように動く。ブランドではなく「このモデルの出力トークン」という代替可能な商品が生まれた。第三に、エージェントが自ら買える。実際にmtok.marketがこの形を先に出した。非カストディ・売り手ホスティングの構造で、BaseチェーンのUSDCでチャンク単位に決済し、実際に配送された取引から取った中央値を時価として示し、MCPでエージェントが直接つながる。

大きな流れも同じ方向を指す。上海先物取引所、CME、ICEといった場がGPUコンピュート先物を設計中で、トークンを金や石油のように取引しようという議論が出ている(TechCrunch、arXiv)。先物が議論される市場には、たいていその下に現物が先に立つ。

flowchart LR
  A[余った推論能力<br/>遊休GPU・自社サーバー] --> B[現物オーダーブック<br/>モデル別の時価]
  C[バッチ推論の需要<br/>分類・抽出・要約] --> B
  B --> D[検証と決済<br/>非カストディ]
  D --> E[定価より安い推論<br/>遊休能力の収益化]

どう作れるか

肝心なのは、狭くて代替可能な商品ひとつから始めることだ。たとえば特定のオープンモデルの出力トークン、その中でも遅延に鈍い非同期のバッチ処理だけを先に扱う。売り手は余った能力を時価に掛け、買い手はオーダーブックから最も安い分を取る。決済は非カストディにして、プラットフォームが資金や鍵を握らないようにする。決済の摩擦を下げることが初期の流動性の鍵だ。

最も難しい部分は検証だ。売り手が本当にそのモデルを回したのか、応答をこっそり安いモデルに差し替えていないかを確かめる必要がある。標本を再実行して結果を照合するか、評判スコアと担保を掛けさせる形で信頼の層を重ねる。収益はマッチした取引量に薄い手数料を乗せる構造が自然だ。最初からリアルタイム対話推論を狙わず、価格に敏感で遅延を許すバッチから攻めるのが現実的だ。

成功の条件

二つの仮定が成り立つ必要がある。第一に、買い手が「特定のブランド」ではなく「このモデルを回す任意の売り手」を受け入れること。バッチや非リアルタイムの仕事では成り立つが、遅延と安定性が命の本番トラフィックでは難しい。第二に、配送されたトークンが本物だと安く証明できること。検証コストが節約額より大きければ市場は立たない。この二つが解ければ流動性のフライホイールが回る。売り手が多いほど定価より安くなり、安いほど買い手が集まり、買い手が集まるほど売り手が増える。先にこの車輪を回した場所が推論市場の基準価格を握る。