OpenSearchのLLM採点機能で日本語商品検索結果を評価し、人のラベルと比べた事例(zenn.dev)

- 検索結果が検索語とどれだけ合うかを採点するOpenSearchの機能を、人の代わりにLLMが採点するよう設定し、日本語商品検索で試した。この方式をLLM_JUDGMENTと呼ぶ。 - 実験にはAmazon商品検索データセット(ESCI)の日本語部分を使った。人が付けたE(条件を満たす)、S(代替可能)、C(併用する製品)、I(無関係)のラベルとLLMの点数を比較し、モデルはGemini 3.5 Flash-Lite、環境はOpenSearch 3.9.0だった。 - 「電源なしスピーカー」検索で、木製の電源なしスピーカーは1.0、USB給電スピーカーは0.2~0.3と採点された。液体粉ミルクは人のラベルEと同じく1.0だったが、スピーカーケーブルは人のラベルがEなのに、LLMは0.1を付けた。 - 筆者は、USB給電と充電式スピーカーをLLMが「電源あり」と解釈した違いだと見ており、ケーブルの件は人のラベルにも揺れがありうると書いている。筆者がいくつかのクエリで試した実験なので、全体の精度を保証する結果ではない。