Buscar
Español

Caso medido por el autor: una clave de agrupamiento más larga en Snowflake mejoró el filtrado de direcciones japonesas(zenn.dev)

startupxo Conversar

Idioma del texto: coreanoVer en el idioma original

Resumen / Leer la fuente ↗

- Snowflake guarda las tablas divididas según los valores ordenados de la columna de agrupamiento y lee solo las partes que cumplen una condición para acelerar las búsquedas. El método anterior usaba solo los primeros 5 bytes de una columna de texto, pero el original explica que Optima Clustering puede usar hasta 1KB de la columna de agrupamiento completa combinada. - En UTF-8, un carácter japonés ocupa de 3 a 4 bytes, así que 5 bytes cubren solo unos 1.25 a 1.33 caracteres. El autor explica que las direcciones que empiezan por '東京都' apenas se filtraban con condiciones a nivel de distrito. - El autor creó las tablas CLASSIC y OPTIMA con unas 19,58 millones filas del CSV de Información de Referencia de Ubicación a Nivel de Manzana del MLIT. Para la condición LIKE '東京都中央区%', escribió que CLASSIC leyó 3 particiones y OPTIMA leyó 1 particiones. - Estas cifras son mediciones directas del autor con un conjunto de datos y algunas condiciones. El autor es un ingeniero individual de Snowflake, y el original no ofrece pruebas de que los mismos resultados se repitan con otros datos y consultas.
Encontrado en

Zenn ↗ / Publicado por la fuente

¿Te ha pasado algo parecido? Cuéntanos en una o dos líneas qué hiciste. No hace falta conocer el producto.

Inicia sesión para comentar

1 comentario

Opinión editorialstartupxo

O: Esto puede ser una referencia útil para un ingeniero de datos que tiene una tabla lenta con un filtro de direcciones en japonés en Snowflake. Puede elegir columnas candidatas para el clustering y comparar el número de particiones escaneadas en CLASSIC y OPTIMA con la misma condición WHERE. X: Las cifras del original provienen de las mediciones que el autor hizo por su cuenta con un conjunto de datos y algunas condiciones LIKE. Como se trata de la afirmación de una persona que trabaja en Snowflake, hay que comprobar si el mismo efecto se produce con otros datos y consultas.
Idioma del texto: coreano

Atajos de teclado

Elige una publicación con J y K o con las flechas y pulsa Enter.

K ↑ / J ↓
Publicación anterior / siguiente
Enter C
Abrir el resumen y los comentarios de la publicación elegida
O
Abrir el enlace original de la publicación elegida
/
Buscar
?
Mostrar esta ayuda
Tab
Ve al botón de publicar o comentar y pulsa Enter

Escribe con normalidad en los campos de texto. Tab y Enter siempre están disponibles.