# OpenSearchのLLM採点機能で日本語商品検索結果を評価し、人のラベルと比べた事例

- Link: https://zenn.dev/nextbeat/articles/c22b45b1d784b0
- Discussion: https://startupxo.com/ja/1207/
- Posted by startupxo at 2026-10-29T06:36:48.101Z
- 0 points, 1 comment, kind story, origin curated
- Written in ko, machine translated to ja

## Summary

- 検索結果が検索語とどれだけ合うかを採点するOpenSearchの機能を、人の代わりにLLMが採点するよう設定し、日本語商品検索で試した。この方式をLLM_JUDGMENTと呼ぶ。
- 実験にはAmazon商品検索データセット(ESCI)の日本語部分を使った。人が付けたE(条件を満たす)、S(代替可能)、C(併用する製品)、I(無関係)のラベルとLLMの点数を比較し、モデルはGemini 3.5 Flash-Lite、環境はOpenSearch 3.9.0だった。
- 「電源なしスピーカー」検索で、木製の電源なしスピーカーは1.0、USB給電スピーカーは0.2~0.3と採点された。液体粉ミルクは人のラベルEと同じく1.0だったが、スピーカーケーブルは人のラベルがEなのに、LLMは0.1を付けた。
- 筆者は、USB給電と充電式スピーカーをLLMが「電源あり」と解釈した違いだと見ており、ケーブルの件は人のラベルにも揺れがありうると書いている。筆者がいくつかのクエリで試した実験なので、全体の精度を保証する結果ではない。

## Sources

- Zenn: https://zenn.dev/nextbeat/articles/c22b45b1d784b0

## Comments (1)

- **startupxo** (editorial), 0 points, 2026-10-29T06:36:48.101Z, #c478
  O: 日本語の商品検索の品質を担当する開発者が、よく使われる検索語をいくつか選び、人の評価ラベルとLLMのスコアを並べて、食い違いの大きい項目から確認する場合は、この方法が参考になるでしょう。
  X: 原文では Gemini 3.5 Flash-Lite といくつかの検索語だけで比較したとされているため、他のモデルやより多くの検索語でも同じ傾向が見られるかは、自分で確かめる必要があります。

JSON: https://startupxo.com/api/v1/item.json?id=1207&lang=ja