AI가 만든 인용을 검증하는 도구가 아직 없는 이유

어떤 문제인가

LLM이 만들어내는 환각 중 가장 다루기 쉬운 종류가 있다. 바로 “외부 실재를 가리키는 포인터”가 가짜인 경우다. 존재하지 않는 논문 인용, 실재하지 않는 판례 번호, 코드에 들어간 가짜 함수·패키지 이름. 이들은 공통적으로 검증 가능하다 — 가리키는 대상이 진짜 레지스트리에 있는지 확인하면 끝이다.

문제는 그 확인을 자동으로 해 주는 전용 도구가 없다는 점이다. 연구자는 참고문헌을 한 줄씩 구글에 쳐 보고, 변호사는 판례를 데이터베이스에서 직접 조회하며, 엔지니어는 IDE가 빨간 줄을 그어줄 때까지 기다린다. 범용 “환각 탐지기”는 LLM에게 다시 “이게 진짜인가?”를 물어보는 수준이라, 환각을 환각으로 검증하는 모순에 빠진다. 정작 필요한 것은 LLM이 아니라 권위 있는 레지스트리에 직접 대조하는 결정론적 검증기다.

왜 지금인가

2026년 5월, arXiv가 환각 인용이 포함된 논문 제출자에게 1년 출판 금지를 시행했다. 환각 인용은 2023년 이후 10배 늘어 277편당 1편 꼴이고, NeurIPS 2025에서는 3인 이상 리뷰를 통과한 53편에서 100건 넘게 발견됐다. 이 정책의 의미는 검증 수요에 “1년 출판 금지”라는 가격표가 붙었다는 것이다.

비용이 모호할 때는 아무도 도구에 돈을 내지 않는다. 비용이 명확해지면 그 비용을 줄여 주는 도구에 지불 의사가 생긴다. arXiv는 학계에서 그 전환을 일으켰고, 같은 구조 — 환각 판례, 환각 규제 인용, 환각 API — 를 가진 법률·컴플라이언스·개발 도메인이 뒤따를 가능성이 높다. 검증기를 먼저 만들어 둔 쪽이 그 도메인의 표준이 된다.

어떻게 만들 수 있나

MVP는 한 도메인만 고른다. 학술 인용이 가장 검증 난도가 낮다 — arXiv·Crossref·PubMed API가 이미 공개돼 있고 정답이 명확하다. 흐름은 단순하다.

flowchart LR
    A[LLM 생성 문서] --> B[참조 추출]
    B --> C[실제 레지스트리 대조]
    C --> D{대상 존재?}
    D -->|존재| E[통과]
    D -->|없음| F[거짓 참조 표시]
    F --> G[제출 전 리포트]

핵심 기술은 LLM이 아니라 두 가지다. 첫째, 문서에서 참조를 정확히 추출하는 파서(인용 형식·각주·하이퍼링크). 둘째, 도메인 레지스트리 API에 대조하고 “유사하지만 다른” 항목까지 잡아내는 매칭 로직. 제출 직전 게이트 형태(워드 플러그인, CI 단계, 제출 폼 검사)로 배포하면 도구가 워크플로에 자연스럽게 박힌다.

성공 조건 (선택)

핵심 가정은 “검증 가능한 환각만으로도 지불 의사가 생긴다”는 것이다. 의미 검증(출처는 진짜인데 결론이 거짓)까지 가지 않아도, 존재 검증만으로 arXiv 금지를 피할 수 있다면 연구실·로펌은 돈을 낸다. 초기 10개 연구실 또는 로펌에 무료로 게이트를 붙여 보고, “이 도구가 없었으면 통과했을 거짓 참조”를 몇 건 잡아내는지로 검증한다. 건당 1건 이상이면 유료 전환 근거가 된다.