OpenAI가 직접 칩을 만든다 — 창업자가 다시 봐야 할 AI 원가의 밑단

OpenAI가 브로드컴과 함께 첫 자체 추론 칩 ‘할라피뇨(Jalapeño)‘를 공개했다. 와트당 성능은 기존 GPU를 앞서고, 비용은 절반 수준이라는 게 회사 설명이다. 모델 위에 앱을 얹은 창업자에게 이건 단순 칩 뉴스가 아니라, 추론 단가와 공급망 통제권이 누구 손에 들어가는지의 문제다.

무슨 일이 있었나

2026년 6월 24일 수요일, OpenAI가 자체 설계한 첫 추론 전용 칩 ‘할라피뇨’를 내놨다. 작년 10월 발표한 브로드컴과의 파트너십이 9개월 만에 실물 실리콘으로 나온 것이다. 학습이 아니라 추론, 즉 이미 만들어진 모델이 사용자 요청에 답하는 단계에만 쓰는 칩이다. 사전학습은 여전히 엔비디아 GPU에 맡긴다. 흥미로운 대목은 설계 과정 자체를 OpenAI 모델이 거들었다는 점이다. 회사가 내놓은 초기 수치는 두 가지다. 와트당 성능이 현재 최고 수준 GPU보다 확실히 낫고, 운용 비용은 일반적인 AI용 GPU 대비 대략 절반이라는 것. 코덱스(Codex) 같은 실시간 코딩 모델을 싸게 돌리는 걸 특히 강조했다. 이로써 OpenAI는 칩·커널·메모리·네트워킹·스케줄링·배포까지 스택 전체를 자기 손에 쥐게 됐다. 그런데 이게 OpenAI만의 일은 아니다. 구글은 2015년부터 TPU를 굴렸고, 아마존은 트레이니엄·인퍼런시아를, 마이크로소프트는 마이아를, 메타는 MTIA를 돌린다. 추론이 이미 AI 연산의 3분의 2를 차지하면서, 거대 사업자들이 일제히 엔비디아 바깥의 실리콘으로 내려가는 흐름의 한 장면이다. 칩을 직접 만들지 않는 이들조차 브로드컴과 마벨이라는 두 회사가 사실상 설계 시장의 95%를 쥐고 있고, 그 모든 걸 TSMC가 찍어낸다.

창업자에게 의미하는 것

겉으로는 ‘엔비디아 의존을 줄였다’는 기업 전략 뉴스로 보인다. 하지만 모델 API 위에 제품을 얹은 창업자에게는 원가구조의 밑단이 흔들리는 사건이다. 추론은 이미 AI 네이티브 제품 매출의 5분의 1 이상을 먹는 비용 항목이다. 그 추론을 돌리는 칩값이 절반으로 떨어진다면, 단기적으로는 호재다. 하지만 통제권이 OpenAI 한 곳으로 더 깊이 쏠린다는 게 진짜 신호다. 모델도 그들 것, 이제 그 모델을 돌리는 칩도 그들 것이다. 가격을 내릴 수도, 자사 우선 워크로드에 칩을 몰아줄 수도, 특정 모델을 자기 실리콘에 묶을 수도 있다. 남의 풀스택 위에 회사를 세운다는 건 그 사다리를 통째로 빌려 쓴다는 뜻이고, 빌린 사다리는 언제든 흔들린다. 한국 창업자에게는 더 멀고 더 추상적으로 느껴질 수 있다. 네이버는 자체 LLM 하이퍼클로바를 쥐고 있지만 칩까지 내려가진 않았고, 카카오·쿠팡 같은 대형 플랫폼조차 추론은 결국 해외 사업자의 GPU나 클라우드에 의존한다. 즉 국내 스타트업 대부분은 ‘엔비디아 의존’을 넘어 ‘특정 미국 모델 사업자 의존’이라는 이중의 종속에 놓인다. 칩 단가가 싸진다고 마진이 회복되는 게 아니다. 누가 그 단가를 정하고, 언제 바꾸느냐가 내 회사 손익을 가른다. 모델 접근권은 해자가 아니며, 이제는 그 모델이 돌아가는 인프라까지 남의 것이라는 사실을 가격표 한 줄에 적어둬야 한다.

지금 취할 수 있는 행동

먼저 추론 공급망을 한 사업자에 몰지 마라. OpenAI가 칩까지 수직통합하는 지금, 단일 모델 사업자에 묶인 제품은 그쪽 가격·정책 변화에 무방비다. 같은 작업을 다른 모델로 돌릴 수 있게 추상화 계층을 한 겹 깔아둬라. 둘째, 칩값 절반이라는 헤드라인에 안심하지 말고 내 제품의 토큰 단위 경제를 직접 숫자로 까봐라. 가격을 정하는 건 내가 아니라 사업자다. 가정이 바뀌면 손익도 바뀐다. 셋째, 해자를 모델이나 칩이 아니라 내가 통제하는 자산 위에 세워라. 자기 데이터, 워크플로에 박힌 통합, 도메인 지식 — 누가 칩을 절반값에 풀어도 흔들리지 않는 것들이다. 넷째, 수직통합 흐름을 기회로도 읽어라. 거대 사업자가 자기 스택에 집중할수록, 특정 산업·언어·규제에 특화된 좁고 깊은 자리는 오히려 비어간다. 모두가 밑단을 통합할 때, 창업자의 자리는 그 위 얇은 응용층이 아니라 사업자가 들어오지 않을 구석에 있다.