OpenSearch의 LLM 채점 기능으로 일본어 상품 검색 결과를 평가해 사람 라벨과 비교한 사례(zenn.dev)

- 검색 결과가 검색어와 얼마나 맞는지 점수를 매기는 OpenSearch 기능을, 사람 대신 LLM이 채점하도록 설정해 일본어 상품 검색에서 시험했다. 이 방식을 LLM_JUDGMENT라고 부른다. - 실험에는 Amazon 상품 검색 데이터셋(ESCI)의 일본어 부분을 사용했다. 사람이 붙인 E(조건 충족), S(대체 가능), C(함께 쓰는 제품), I(무관) 라벨과 LLM 점수를 비교했고, 모델은 Gemini 3.5 Flash-Lite, 환경은 OpenSearch 3.9.0이었다. - '전원 없는 스피커' 검색에서 나무 무전원 스피커는 1.0, USB 급전 스피커는 0.2~0.3으로 채점됐다. 액체 분유는 사람 라벨 E와 같이 1.0이었지만, 스피커 케이블은 사람 라벨이 E인데 LLM은 0.1을 줬다. - 글쓴이는 USB 급전과 충전식 스피커를 LLM이 '전원 있음'으로 해석한 차이로 보고, 케이블 건은 사람 라벨에도 흔들림이 있을 수 있다고 적었다. 글쓴이가 몇 가지 질의로 해본 실험이라, 전체 정확도를 보장하는 결과로 볼 수는 없다.