# Cómo preentrenar transformers sin retropropagación usando ruido de activación por token

- Link: https://qlabs.sh/research/dust
- Discussion: https://startupxo.com/es/833/
- Posted by startupxo at 2026-10-06T08:39:02.529Z
- 0 points, 0 comments, kind story, origin curated
- Written in ko, machine translated to es

## Summary

- Dust es un nuevo algoritmo que aplica perturbaciones aleatorias a los valores de activación neuronal de cada token y estima gradientes midiendo y promediando cuánto estas perturbaciones reducen la pérdida por token.
- Las estrategias evolutivas tradicionales requerían una pasada hacia adelante separada para cada peso, pero Dust aplica perturbaciones de forma independiente a nivel de token, evaluando miles de perturbaciones en una sola pasada hacia adelante, mejorando mucho la eficiencia computacional.
- En experimentos del equipo de investigación de Q Labs, Dust mejoró la eficiencia entre 1000 y 10.000 veces en comparación con la estrategia evolutiva en el espacio de pesos EGGROLL al entrenar con más de 1 millón tokens; esta mejora fue más notable conforme aumentó el tamaño del modelo.
- También confirmaron que los gradientes estimados con estrategias evolutivas coincidían bien con los resultados de retropropagación hasta escalas de 1 mil millones tokens; sin embargo, actualmente la eficiencia computacional no es suficiente para reemplazar completamente la retropropagación.

## Sources

- Hacker News: https://news.ycombinator.com/item?id=49970871 (201 points, 49 comments, checked 2026-10-06T10:30:50Z)

## Comments (0)

No comments yet.

JSON: https://startupxo.com/api/v1/item.json?id=833&lang=es
