같은 시각에 멈춘 그록과 클로드는 같은 회사에서 컴퓨트를 빌린다

태평양시 오전 6시 30분에 그록과 클로드가 나란히 멈췄다

9월 3일 아침, 그록이 먼저 응답을 멈췄다. 스페이스X 상태 페이지에는 태평양시 오전 6시 30분에 모델 장애가 올라왔고, 복구까지 세 시간 반이 걸렸다. X 안의 그록과 모바일 앱이 함께 막혔다.

거의 같은 시각, 앤트로픽 상태 페이지에도 여러 모델의 오류가 급증했다는 공지가 올라왔다. UTC 13시 26분에 시작해 16시 23분에 끝났으니 세 시간 가까이 이어졌다. 클로드 미토스 5.1과 페이블 5.1, 오퍼스 5, 오퍼스 4.8, 오퍼스 4.6이 영향을 받았다. 앤트로픽은 그날 이미 소네트 5 장애를 한 차례 겪고 19분 만에 종료한 뒤였다.

챗GPT는 한 시간쯤 뒤 합류했다. 오픈AI는 UTC 14시 58분에 챗GPT와 코덱스의 오류 증가를 인시던트로 등록하고 16시 55분에 해결됐다고 알렸다. 원인은 라우팅 오류라고 밝혔다.

세 곳의 장애가 겹치자 도미노가 이어졌다. 코딩 도구 커서는 그록과 클로드의 장애로 자기 서비스도 멈췄다고 공지했다. 제미나이에도 신고가 몰렸지만 구글은 끝내 공식 장애를 올리지 않았다.

앤트로픽은 올해 머스크 쪽 회사에서 컴퓨트를 빌리기로 계약했다

그날 오후, 스페이스X 공식 계정에 사과문이 올라왔다. 멤피스 컴퓨트 센터에서 장애가 발생했고 그 여파로 그록이 멈췄다는 내용이었다. 뒤에는 영향을 받은 컴퓨트 파트너들에게도 사과한다는 문장이 붙어 있었다.

파트너가 누구인지는 밝히지 않았다. 다만 엔가젯은 앤트로픽과 머스크의 AI 회사가 올해 계약을 맺어 클로드를 만드는 쪽이 컴퓨트를 빌려 쓰기로 했다고 보도했다. 클로드의 장애가 시작된 시각도 그록과 같은 태평양시 오전 6시 30분 무렵이다. 앤트로픽은 원인을 공개하지 않았고, 두 회사 어느 쪽도 두 장애가 같은 사건이라고 확인하지 않았다.

확인되지 않은 연결을 사실로 적을 이유는 없다. 확인된 사실만 세어도 그림은 선명하다. 시장에서 정면으로 경쟁하는 두 모델 회사가 같은 전산 자원으로 이어져 있고, 그중 건물 하나에서 장애가 나면 다른 쪽 고객까지 사과 대상이 된다는 사실을 공급자가 공개적으로 인정했다.

클라우드플레어도 3대 클라우드도 그날은 멀쩡했다

서비스 세 개가 동시에 흔들리면 가장 먼저 공통 경로를 의심하게 된다. 클라우드플레어는 세 회사가 각기 다른 방식으로 쓰고 있어 가장 먼저 지목됐다. 대변인은 더레지스터에 의미 있는 서비스 중단은 없었다고 답했다. AWS와 구글 클라우드, 마이크로소프트 애저 상태 페이지에도 관련 장애는 없었다. 애저에 신고가 몰리자 마이크로소프트는 자사 문제가 아니라고 선을 그었다.

그러니까 겹친 지점은 인터넷 앞단이 아니라 모델을 실제로 구동하는 GPU가 놓인 건물 쪽이었다. 이중화를 설계할 때 보통 따지는 층은 리전과 CDN, 모델 벤더다. 컴퓨트를 누가 누구에게 빌려주는지는 그 목록에 없다. 상태 페이지에도 적히지 않고 계약서에도 나오지 않는다.

상태 페이지의 등급도 그대로 믿을 수는 없다. 같은 날 같은 시간대의 장애를 두고 앤트로픽은 영향도를 Major로, 오픈AI는 Minor로 기록했다. 회사마다 기준이 다르다. 대시보드의 색만 보고 우리 쪽 피해 규모를 짐작하면 어긋난다.

한국 근무시간을 관통한 것은 그다음 날이었다

이 사건은 한국시간으로 9월 3일 밤 10시 26분에 시작해 9월 4일 새벽 1시 55분에 끝났다. 국내 팀 대부분이 자는 동안 지나갔다. 아침에 기사로 읽고 남의 나라 일로 넘기기 딱 좋은 시간대다.

정작 근무시간을 관통한 것은 그다음 날이었다. 오픈AI 상태 페이지에는 9월 4일 UTC 7시부터 10시 46분까지 아시아태평양 전용 인시던트가 따로 올라와 있다. 챗GPT와 워크, 이미지 생성, 파일 업로드, 음성, 코덱스 클라우드에서 오류가 늘 수 있다는 내용이었다. 한국시간으로 오후 4시부터 저녁 7시 46분까지, 꼬박 세 시간 46분이다.

이 인시던트는 영어권 기사에 거의 실리지 않았다. 영향도가 Minor로 표시됐고 지역도 한정됐기 때문이다. 국내 팀의 처지는 반대다. 소문난 장애는 밤에 지나갔고, 실제로 업무를 멈춘 장애는 조용히 지나갔다.

지금 물어볼 것은 그 벤더가 컴퓨트를 어디서 빌리는가다

모델 벤더를 둘로 나눠 두는 구성은 이제 기본에 가깝다. 평소에는 A를 쓰고, 멈추면 B로 넘긴다. 9월 3일은 그 구성이 어디까지 유효한지 보여 줬다. 두 벤더가 같은 임대 계약으로 묶여 있으면 전환 스위치를 눌러도 갈 곳이 없다.

그래서 확인할 자리는 벤더 이름 아래 한 층이다. 우리가 쓰는 모델 회사가 GPU를 소유하는지 빌리는지, 빌린다면 어디서 빌리는지를 본다. 공개된 계약이 아니면 알 수 없는 경우가 많으니 엔터프라이즈 계약을 새로 맺을 때 질문 목록에 넣는 편이 낫다. 폴백을 고를 때도 임차 사슬이 다른 곳을 하나 섞는다.

그리고 세 시간짜리 장애가 났을 때 우리 화면에 무엇이 뜰지도 정해 둬야 한다. 커서는 9월 3일에 두 모델이 함께 멈춰 자체 공지를 올려야 했다. 사용자는 어느 모델이 멈췄는지 모른다. 화면에 뜬 이름은 우리 제품 이름이다.