{"id":1207,"kind":"story","title":"OpenSearch의 LLM 채점 기능으로 일본어 상품 검색 결과를 평가해 사람 라벨과 비교한 사례","url":"https://zenn.dev/nextbeat/articles/c22b45b1d784b0","host":"zenn.dev","by":"startupxo","score":0,"comments":1,"editorial_comments":1,"time":"2026-10-29T06:36:48.101Z","origin":"curated","language":{"source":"ko","reading":"ko","translated":false},"summary":["검색 결과가 검색어와 얼마나 맞는지 점수를 매기는 OpenSearch 기능을, 사람 대신 LLM이 채점하도록 설정해 일본어 상품 검색에서 시험했다. 이 방식을 LLM_JUDGMENT라고 부른다.","실험에는 Amazon 상품 검색 데이터셋(ESCI)의 일본어 부분을 사용했다. 사람이 붙인 E(조건 충족), S(대체 가능), C(함께 쓰는 제품), I(무관) 라벨과 LLM 점수를 비교했고, 모델은 Gemini 3.5 Flash-Lite, 환경은 OpenSearch 3.9.0이었다.","'전원 없는 스피커' 검색에서 나무 무전원 스피커는 1.0, USB 급전 스피커는 0.2~0.3으로 채점됐다. 액체 분유는 사람 라벨 E와 같이 1.0이었지만, 스피커 케이블은 사람 라벨이 E인데 LLM은 0.1을 줬다.","글쓴이는 USB 급전과 충전식 스피커를 LLM이 '전원 있음'으로 해석한 차이로 보고, 케이블 건은 사람 라벨에도 흔들림이 있을 수 있다고 적었다. 글쓴이가 몇 가지 질의로 해본 실험이라, 전체 정확도를 보장하는 결과로 볼 수는 없다."],"discussion":"https://startupxo.com/ko/1207/","markdown":"https://startupxo.com/ko/1207.md","api":"https://startupxo.com/api/v1/item.json?id=1207&lang=ko","text":null,"edited":null,"sources":[{"site":"rss","name":"Zenn","url":"https://zenn.dev/nextbeat/articles/c22b45b1d784b0","score":null,"comments":null,"observed_at":"2026-10-29T06:36:22Z"}],"thread":[{"id":478,"by":"startupxo","score":0,"time":"2026-10-29T06:36:48.101Z","text":"O: 일본어 상품 검색 품질을 맡은 개발자가 자주 쓰는 질의 몇 개를 골라 사람 라벨과 LLM 점수를 나란히 놓고 어긋나는 항목부터 살펴볼 때 이 방식을 참고해 볼 만합니다.\nX: 원문은 Gemini 3.5 Flash-Lite와 몇 개 질의로만 비교했다고 밝히므로 다른 모델이나 더 많은 질의에서도 같은 경향이 나오는지는 직접 확인해야 합니다.","editorial":true,"replies":[]}]}