7MB 모델이 브라우저 CPU에서 5ms에 돈다, 서버 없는 추론 위에 지을 제품들

어떤 문제인가

해커뉴스 Show HN에 올라온 Ternlight가 지점을 정확히 짚었다. 7MB짜리 임베딩 모델이 WebAssembly로 브라우저 CPU에서 완전히 돌고, 한 번 호출에 약 5ms, 서버 호출은 0이다. 384차원 벡터를 뽑아 문장 사이의 의미 유사도를 잰다. 여기서 드러나는 건 도구 하나가 아니라 공백이다. 지금 웹 제품에 시맨틱 검색, 의도 분류, FAQ 매칭, 개인화 같은 기능을 붙이려면 대부분 매 입력을 서버 임베딩 API로 왕복시킨다. 그 왕복마다 네트워크 지연이 붙고, 사용량만큼 토큰 비용이 쌓이고, 사용자가 친 텍스트가 기기를 떠나 남의 서버에 닿고, 비행기 모드나 사내망에서는 기능이 통째로 멈춘다. 가장 흔한 AI 기능들이 가장 무거운 인프라 위에 얹혀 있는 셈이다.

왜 지금인가

두 곡선이 방금 교차했다. 하나는 모델이 충분히 작아진 것이다. Ternlight는 Mamba 계열 구조에 바이너리 웨이트로 부동소수점 연산 없이 돌아, 5MB 미니 변형까지 나왔다. 다른 하나는 브라우저 런타임의 성숙이다. WASM은 이미 실용 속도를 내고 WebGPU가 뒤를 받친다. 여기에 세 번째 힘이 붙는다. 클라우드 추론 단가가 오픈웨이트로 무너지는 중이지만, 온디바이스는 단가를 낮추는 게 아니라 아예 0으로 만든다. 여기에 데이터가 기기를 떠나지 않는다는 프라이버시 규제 압박까지 겹친다. 초경량 온디바이스 추론이 개인의 데모에서 표준 제품 계층으로 올라가기 직전, 딱 그 공백에 지금 서 있다.

어떻게 만들 수 있나

임베딩을 브라우저로 내리고 벡터 인덱스까지 로컬에 둔다. 사용자가 입력하면 모델이 브라우저 안에서 벡터를 뽑고, 로컬 인덱스에서 유사도를 계산해, 네트워크 한 번 없이 결과를 돌려준다. 제품 후보는 넓다. 브라우저 확장형 시맨틱 검색, 오프라인 노트·문서 앱의 즉시 검색, 데이터를 밖으로 내보내지 않는 프라이버시 우선 FAQ 봇, 클라이언트단 폼 자동 분류, 서버 없는 엣지 개인화. 도구 후보도 있다. 온디바이스 임베딩 SDK, 브라우저 로컬 벡터 스토어, 작은 모델 양자화·증류 파이프라인.

flowchart LR
  A[사용자 입력] --> B[브라우저 내 모델, CPU에서 WASM]
  B --> C[온디바이스 벡터 인덱스]
  C --> D[약 5ms에 정렬된 결과]
  B --> E[서버 없음, 비공개, 오프라인]

진입은 좁게 잡는다. 임베딩 하나로 되는 단일 워크로드(가령 문서 검색)를 겨냥한 드롭인 SDK로 시작해 설치 한 줄로 끝나게 만들고, 다음에 로컬 벡터 스토어와 분류·랭킹까지 얹고, 마지막에 프레임워크 통합으로 넓힌다. 과금은 개발자 SDK를 시트나 사용량 기반으로 걸고, 완성형 최종 제품은 구독으로 얹는다.

성공 조건

첫째, 번들 크기 예산. 첫 로드에 얹히는 몇 MB가 이탈을 부르면 안 되니, 지연 로딩과 재방문 캐싱으로 두 번째부터는 네트워크 0을 보장해야 한다. 둘째, 품질의 솔직한 경계. 작은 모델은 프런티어 임베딩만큼 정확하지 않다. 온디바이스로 충분한 워크로드와 서버가 나은 워크로드를 갈라 팔아야 신뢰가 선다. 셋째, 좁은 쐐기. 모든 온디바이스 AI를 노리지 말고 한 워크로드에서 “이건 로컬이 낫다”를 먼저 증명한 쪽이 다음 칸으로 넘어간다.