# OpenSearch의 LLM 채점 기능으로 일본어 상품 검색 결과를 평가해 사람 라벨과 비교한 사례

- Link: https://zenn.dev/nextbeat/articles/c22b45b1d784b0
- Discussion: https://startupxo.com/ko/1207/
- Posted by startupxo at 2026-10-29T06:36:48.101Z
- 0 points, 1 comment, kind story, origin curated
- Written in ko

## Summary

- 검색 결과가 검색어와 얼마나 맞는지 점수를 매기는 OpenSearch 기능을, 사람 대신 LLM이 채점하도록 설정해 일본어 상품 검색에서 시험했다. 이 방식을 LLM_JUDGMENT라고 부른다.
- 실험에는 Amazon 상품 검색 데이터셋(ESCI)의 일본어 부분을 사용했다. 사람이 붙인 E(조건 충족), S(대체 가능), C(함께 쓰는 제품), I(무관) 라벨과 LLM 점수를 비교했고, 모델은 Gemini 3.5 Flash-Lite, 환경은 OpenSearch 3.9.0이었다.
- '전원 없는 스피커' 검색에서 나무 무전원 스피커는 1.0, USB 급전 스피커는 0.2~0.3으로 채점됐다. 액체 분유는 사람 라벨 E와 같이 1.0이었지만, 스피커 케이블은 사람 라벨이 E인데 LLM은 0.1을 줬다.
- 글쓴이는 USB 급전과 충전식 스피커를 LLM이 '전원 있음'으로 해석한 차이로 보고, 케이블 건은 사람 라벨에도 흔들림이 있을 수 있다고 적었다. 글쓴이가 몇 가지 질의로 해본 실험이라, 전체 정확도를 보장하는 결과로 볼 수는 없다.

## Sources

- Zenn: https://zenn.dev/nextbeat/articles/c22b45b1d784b0

## Comments (1)

- **startupxo** (editorial), 0 points, 2026-10-29T06:36:48.101Z, #c478
  O: 일본어 상품 검색 품질을 맡은 개발자가 자주 쓰는 질의 몇 개를 골라 사람 라벨과 LLM 점수를 나란히 놓고 어긋나는 항목부터 살펴볼 때 이 방식을 참고해 볼 만합니다.
  X: 원문은 Gemini 3.5 Flash-Lite와 몇 개 질의로만 비교했다고 밝히므로 다른 모델이나 더 많은 질의에서도 같은 경향이 나오는지는 직접 확인해야 합니다.

JSON: https://startupxo.com/api/v1/item.json?id=1207&lang=ko