7MBのモデルがブラウザのCPUで5msで動く、サーバーレス推論の上に築ける製品

どんな問題か

Hacker NewsのShow HNに出たTernlightが、要点をぴたりと突いた。7MBの埋め込みモデルがWebAssemblyでブラウザのCPU上を完全に動き、一回の呼び出しに約5ms、サーバー呼び出しはゼロだ。384次元のベクトルを取り出し、文章どうしの意味の近さを測る。ここで見えるのはツール一つではなく空白だ。今、Web製品にセマンティック検索、意図分類、FAQマッチング、パーソナライズを付けるには、たいてい毎入力をサーバーの埋め込みAPIへ往復させる。その往復ごとにネットワーク遅延が乗り、使うほどトークンコストが積み上がり、ユーザーが打ったテキストが端末を離れて他人のサーバーに届き、機内モードや社内網では機能ごと止まる。もっともありふれたAI機能が、もっとも重いインフラの上に載っている。

なぜ今か

二つの曲線がちょうど交わった。一つはモデルが十分に小さくなったこと。TernlightはMamba系の構造にバイナリの重みで浮動小数点演算なしに動き、5MBのミニ版まで出ている。もう一つはブラウザランタイムの成熟だ。WASMはすでに実用速度を出し、WebGPUが後ろを支える。ここに三つ目の力が加わる。クラウド推論の単価はオープンウェイトで崩れているが、オンデバイスは単価を下げるのではなく、そのままゼロにする。さらにデータを端末から出さないというプライバシー規制の圧力も重なる。超軽量なオンデバイス推論は、個人のデモが標準の製品レイヤーへ固まる直前、まさにその空白に今立っている。

どう作るか

埋め込みをブラウザへ降ろし、ベクトルのインデックスもローカルに置く。ユーザーが入力すると、モデルがブラウザ内でベクトルを取り出し、ローカルインデックスで類似度を計算し、ネットワークを一度も使わずに結果を返す。製品の候補は広い。ブラウザ拡張型のセマンティック検索、オフラインのノートや文書アプリの即時検索、データを外に出さないプライバシーファーストのFAQボット、クライアント側のフォーム自動分類、サーバーなしのエッジパーソナライズ。ツールの候補もある。オンデバイスの埋め込みSDK、ブラウザローカルのベクトルストア、小さなモデルの量子化と蒸留のパイプライン。

flowchart LR
  A[ユーザー入力] --> B[ブラウザ内モデル, CPU上のWASM]
  B --> C[オンデバイスのベクトルインデックス]
  C --> D[約5msで並べた結果]
  B --> E[サーバーなし, 非公開, オフライン]

入り口は狭く取る。埋め込み一つで済む単一のワークロード、たとえば文書検索を狙ったドロップインSDKから始め、一行で入るようにし、次にローカルのベクトルストアと分類・ランキングを載せ、最後にフレームワーク統合で広げる。課金は開発者向けSDKをシートか使用量で掛け、完成した最終製品はサブスクリプションで乗せる。

成功の条件

一つ、バンドルサイズの予算。初回ロードに乗る数MBが離脱を招いてはいけないので、遅延ロードと再訪キャッシュで二度目以降はネットワークゼロを保証する必要がある。二つ、品質の正直な境界。小さなモデルはフロンティアの埋め込みほど正確ではない。オンデバイスで十分なワークロードと、サーバーのほうが良いワークロードを分けて売ってこそ信頼が立つ。三つ、狭いくさび。オンデバイスAIすべてを狙わず、一つのワークロードで「これはローカルが良い」を先に証明した側が、次のマスへ進む。