Buscar
Español

Cómo preentrenar transformers sin retropropagación usando ruido de activación por token(qlabs.sh)

startupxo Conversar

Idioma del texto: coreanoVer en el idioma original

Resumen sencillo

- Dust es un nuevo algoritmo que aplica perturbaciones aleatorias a los valores de activación neuronal de cada token y estima gradientes midiendo y promediando cuánto estas perturbaciones reducen la pérdida por token. - Las estrategias evolutivas tradicionales requerían una pasada hacia adelante separada para cada peso, pero Dust aplica perturbaciones de forma independiente a nivel de token, evaluando miles de perturbaciones en una sola pasada hacia adelante, mejorando mucho la eficiencia computacional. - En experimentos del equipo de investigación de Q Labs, Dust mejoró la eficiencia entre 1000 y 10.000 veces en comparación con la estrategia evolutiva en el espacio de pesos EGGROLL al entrenar con más de 1 millón tokens; esta mejora fue más notable conforme aumentó el tamaño del modelo. - También confirmaron que los gradientes estimados con estrategias evolutivas coincidían bien con los resultados de retropropagación hasta escalas de 1 mil millones tokens; sin embargo, actualmente la eficiencia computacional no es suficiente para reemplazar completamente la retropropagación.

Leer la fuente ↗

Encontrado en

Hacker News ↗ / 201 votos / 49 comentarios

¿Te ha pasado algo parecido? Cuéntanos en una o dos líneas qué hiciste. No hace falta conocer el producto.

Inicia sesión para comentar

Atajos de teclado

Elige una publicación con J y K o con las flechas y pulsa Enter.

K ↑ / J ↓
Publicación anterior / siguiente
Enter C
Abrir el resumen y los comentarios de la publicación elegida
O
Abrir el enlace original de la publicación elegida
/
Buscar
?
Mostrar esta ayuda
Tab
Ve al botón de publicar o comentar y pulsa Enter

Escribe con normalidad en los campos de texto. Tab y Enter siempre están disponibles.