존재하지 않는 인용 1건에 1년 출판 금지 — AI 검증 시장이 열린다

무슨 일이 있었나

arXiv가 “환각 인용(hallucinated references)” — 실제로 존재하지 않는 논문을 참고문헌으로 단 제출물 — 에 대해 1년간 제출 금지를 시행하기 시작했다. 금지 기간이 끝난 뒤에도, 이후 모든 arXiv 제출물은 먼저 신뢰할 만한 학회·저널의 동료 심사를 통과해야 게시할 수 있다. 단순한 경고가 아니라 출판 경로 자체를 차단하는 제재다.

규모를 보면 왜 이런 강수가 나왔는지 분명해진다. 환각 인용은 2023년 이후 10배로 늘어 2026년 초에는 논문 277편당 1편 꼴로 나타났다. 더 무거운 사례는 NeurIPS 2025다. 최소 3인의 인간 리뷰어가 검토를 통과시킨 53편의 논문에서 100건이 넘는 환각 인용이 발견됐다. LLM이 만들어낸 표 채우기 안내문(“여기 200단어 요약입니다, 수정할까요?”)이 본문에 그대로 실린 경우도 적발 대상에 들어간다.

arXiv는 이를 “기술 문제가 아니라 저자의 책임 실패”로 규정했다. AI 보조 집필을 금지하는 게 아니라, 검증되지 않은 AI 출력을 게시한 사람에게 비용을 매기는 설계다. 책임의 위치를 도구에서 사람으로 되돌린 것이다.

창업자에게 의미하는 것

이 사건의 핵심은 “AI 출력 검증”이 처음으로 명확한 가격표를 갖게 됐다는 점이다. 그동안 환각은 불편하지만 비용이 모호한 문제였다. 이제 학계에서는 환각 인용 한 줄의 비용이 “1년 출판 금지 + 동료 심사 의무화”로 정량화됐다. 비용이 명확해지면 그 비용을 줄여 주는 도구에 지불 의사가 생긴다 — 이것이 시장이 열리는 표준 패턴이다.

검증 수요는 학계에만 머물지 않는다. 환각 인용과 코드의 환각 API(존재하지 않는 함수·패키지·설정 옵션)는 같은 실패 모드다. 둘 다 “외부 실재를 가리키는 포인터가 가짜”인 경우다. 법률 문서의 환각 판례, 의료 문서의 환각 가이드라인, 컴플라이언스 보고서의 환각 규정 인용 — 모두 같은 구조다. arXiv가 만든 선례는 다른 고위험 도메인의 검증 의무화로 번질 가능성이 높다.

주목할 지점은 arXiv가 “탐지 도구”가 아니라 “비용 부과”를 선택했다는 사실이다. 모든 인용을 자동 검증하는 대신, 거짓이 발견되면 제출자에게 제재를 매겼다. 이는 검증 도구 시장이 두 갈래로 갈라진다는 뜻이다. 하나는 제출 전에 저자가 스스로 거짓 참조를 걸러내는 도구, 다른 하나는 플랫폼·심사자가 제출물을 사후 감사하는 도구다. 창업자는 어느 쪽 고객을 잡을지 먼저 정해야 한다.

지금 취할 수 있는 행동

검증 가능한 환각과 검증 불가능한 환각을 구분하자. 인용·API 참조는 대상의 존재 여부를 기계적으로 확인할 수 있다. 반면 “실존하는 출처를 인용하되 그 출처가 말하지 않은 결론을 끌어내는” 환각은 의미 검증이 필요하다. MVP는 전자부터 — 검증 난도가 낮고 정답이 명확하다.
도메인을 좁혀서 시작하자. 학술 인용, 법률 판례, 코드 의존성 중 하나를 골라 그 도메인의 “진짜 레지스트리”(arXiv·PubMed·판례DB·패키지 레지스트리)에 대조하는 검증기를 만든다. 범용 환각 탐지기보다 도메인 검증기가 정확도와 지불 의사 모두 높다.
규제 캘린더를 따라가자. arXiv 정책은 시작점이다. 고위험 AI 시스템에 대한 검증 의무가 다른 분야로 확산될 때, 먼저 자리잡은 검증 도구가 표준이 된다.

존재하지 않는 인용 1건에 1년 출판 금지 — AI 검증 시장이 열린다

무슨 일이 있었나

창업자에게 의미하는 것

지금 취할 수 있는 행동

관련 공모전 · 이벤트