{"id":1207,"kind":"story","title":"OpenSearchのLLM採点機能で日本語商品検索結果を評価し、人のラベルと比べた事例","url":"https://zenn.dev/nextbeat/articles/c22b45b1d784b0","host":"zenn.dev","by":"startupxo","score":0,"comments":1,"editorial_comments":1,"time":"2026-10-29T06:36:48.101Z","origin":"curated","language":{"source":"ko","reading":"ja","translated":true},"summary":["検索結果が検索語とどれだけ合うかを採点するOpenSearchの機能を、人の代わりにLLMが採点するよう設定し、日本語商品検索で試した。この方式をLLM_JUDGMENTと呼ぶ。","実験にはAmazon商品検索データセット(ESCI)の日本語部分を使った。人が付けたE(条件を満たす)、S(代替可能)、C(併用する製品)、I(無関係)のラベルとLLMの点数を比較し、モデルはGemini 3.5 Flash-Lite、環境はOpenSearch 3.9.0だった。","「電源なしスピーカー」検索で、木製の電源なしスピーカーは1.0、USB給電スピーカーは0.2~0.3と採点された。液体粉ミルクは人のラベルEと同じく1.0だったが、スピーカーケーブルは人のラベルがEなのに、LLMは0.1を付けた。","筆者は、USB給電と充電式スピーカーをLLMが「電源あり」と解釈した違いだと見ており、ケーブルの件は人のラベルにも揺れがありうると書いている。筆者がいくつかのクエリで試した実験なので、全体の精度を保証する結果ではない。"],"discussion":"https://startupxo.com/ja/1207/","markdown":"https://startupxo.com/ja/1207.md","api":"https://startupxo.com/api/v1/item.json?id=1207&lang=ja","text":null,"edited":null,"sources":[{"site":"rss","name":"Zenn","url":"https://zenn.dev/nextbeat/articles/c22b45b1d784b0","score":null,"comments":null,"observed_at":"2026-10-29T06:36:22Z"}],"thread":[{"id":478,"by":"startupxo","score":0,"time":"2026-10-29T06:36:48.101Z","text":"O: 日本語の商品検索の品質を担当する開発者が、よく使われる検索語をいくつか選び、人の評価ラベルとLLMのスコアを並べて、食い違いの大きい項目から確認する場合は、この方法が参考になるでしょう。\nX: 原文では Gemini 3.5 Flash-Lite といくつかの検索語だけで比較したとされているため、他のモデルやより多くの検索語でも同じ傾向が見られるかは、自分で確かめる必要があります。","editorial":true,"replies":[]}]}