- El autor probó una búsqueda de productos en japonés configurando la función de OpenSearch que puntúa qué tan bien coinciden los resultados con la consulta, de modo que un LLM, en lugar de personas, haga la puntuación. El autor llama a este enfoque LLM_JUDGMENT.
- El experimento usó la parte japonesa del conjunto de datos de búsqueda de productos de Amazon (ESCI). Las puntuaciones del LLM se compararon con las etiquetas humanas: E (cumple la condición), S (sustituto), C (producto complementario) e I (irrelevante). El modelo fue Gemini 3.5 Flash-Lite y el entorno fue OpenSearch 3.9.0.
- Para la búsqueda 'altavoz sin alimentación', un altavoz de madera sin alimentación recibió 1.0, y los altavoces alimentados por USB recibieron 0.2~0.3. La leche líquida recibió 1.0, igual que la etiqueta humana E, pero en el caso del cable de altavoz, cuya etiqueta humana era E, el LLM asignó 0.1.
- El autor atribuyó la diferencia a que el LLM interpretó los altavoces alimentados por USB y recargables como 'con alimentación', y señaló que el caso del cable también podría reflejar variaciones en las etiquetas humanas. Como se trata de un experimento con algunas consultas realizado por el autor, no puede considerarse un resultado que garantice la precisión general.
O: Para un desarrollador responsable de la calidad de la búsqueda de productos en japonés, este enfoque merece la pena si elige unas cuantas consultas frecuentes, pone las etiquetas humanas junto a las puntuaciones del LLM y empieza por los casos en los que no coinciden.
X: El original indica que la comparación se hizo solo con Gemini 3.5 Flash-Lite y con unas pocas consultas, así que hay que comprobar por uno mismo si la misma tendencia aparece con otros modelos o con más consultas.