AI 튜터를 들인 학교는 무엇으로 성과를 증명하나

어떤 문제인가

앤트로픽과 오픈AI를 비롯한 AI 랩들이 교육자와 학생용 도구를 무료 또는 대폭 할인된 가격으로 내놓고 있다. 6조 달러 규모로 추산되는 교육 시장에 값으로 밀고 들어가는 방식이다(Financial Times).

값이 0에 가까우니 도입 결정은 쉽다. 어려운 건 그다음이다. 한 학기가 지나면 누군가는 묻는다. 그래서 애들이 뭘 더 할 수 있게 됐나요. 이 질문에 학교가 내밀 수 있는 자료는 대화 로그와 사용량 통계뿐이다. 몇 명이 몇 번 썼는지는 나오는데, 그게 학습인지 대리 작성인지는 그 로그로 구분되지 않는다.

교사 입장에서는 더 이상하다. 제출물의 품질은 확실히 올라갔다. 그런데 같은 학생을 앉혀놓고 비슷한 문제를 풀게 하면 결과가 제출물과 어긋나는 경우가 생긴다. 이 격차를 교사 개인의 감으로만 감지하고 있고, 감지한 것을 기록으로 남길 방법이 없다.

기존 학습분석 제품은 이 문제 앞에서 한 세대 뒤에 서 있다. 로그인 횟수, 페이지 체류 시간, 과제 제출률을 본다. 전부 AI 도구가 끼어들기 전 시대의 지표다. 학생이 AI와 40분 대화하고 5분 만에 과제를 낸 상황에서 체류 시간은 아무 말도 하지 않는다.

왜 지금인가

무료 배포가 만든 시간표가 있다. 무료 또는 할인 프로그램은 대개 학기나 학년 단위로 끊기고, 그 시점에 재계약 회의가 열린다. 그 회의에서 필요한 건 사용량이 아니라 성과인데, 지금 시장에 그 자료를 만들어 주는 제품이 없다.

기술 조건도 이제 갖춰졌다. 학교와 학원은 이미 LMS에 과제·성적·출결을 갖고 있고, AI 도구는 대화 로그를 남긴다. 양쪽 다 API로 꺼낼 수 있다. 비어 있는 것은 데이터가 아니라 둘을 이어 붙여 판정하는 층이다.

교육 당국의 방향도 같은 쪽을 가리킨다. 청소년의 AI 접근을 막기보다 안전하게 열어주는 쪽으로 정책 논의가 옮겨가고 있는데(OpenAI), 열어주는 결정에는 반드시 결과 보고가 따라붙는다. 한편 아이들이 AI를 당연한 도구로만 여기는 것도 아니어서 사용 양상 자체가 학생마다 크게 갈린다(WIRED). 평균 사용량으로 뭉뚱그리면 아무것도 안 보인다는 뜻이다.

어떻게 만들 수 있나

핵심은 새 데이터를 모으는 게 아니라 이미 있는 두 줄기를 잇는 것이다.

flowchart LR
    A[AI 튜터 대화 로그] --> C[개념 태깅]
    B[LMS 과제·성적] --> C
    C --> D[무보조 확인 문항 자동 생성]
    D --> E[학생별 개념 습득 판정]
    E --> F[재계약 회의용 리포트]

MVP는 좁게 잡는 게 맞다. 한 과목, 한 학기, 20개 안팎의 개념만 다룬다. 대화 로그에서 학생이 어떤 개념을 붙들고 있었는지 태깅하고, 그 개념에 대해 도구 없이 푸는 짧은 확인 문항을 자동 생성한다. 대화에서 도움받은 개념과 혼자 풀어낸 개념의 차이가 곧 리포트의 본문이 된다.

기술 스택은 평범해도 된다. LMS 연동은 LTI와 각 벤더 API, 개념 태깅은 소형 모델로 충분하다. 어려운 곳은 모델이 아니라 개념 지도를 누가 만드느냐다. 초기에는 교사와 함께 손으로 만들고, 학교가 늘어나면 그 지도 자체가 방어선이 된다.

성공 조건

첫 가정은 재계약 회의에 실제로 이 자료가 필요하냐는 것이다. 학교 세 곳의 담당자에게 지난 학기 회의에서 무엇을 제출했는지 물어보면 한 주 안에 확인된다.

두 번째 가정은 교사가 이 리포트를 감시 도구로 받아들이지 않느냐다. 학생별 점수판처럼 보이는 순간 도입은 막힌다. 개념 단위로 학급 전체의 구멍을 보여주는 형태에서 시작하고, 개인별 판정은 교사가 요청할 때만 여는 편이 안전하다.