{"id":833,"kind":"story","title":"Cómo preentrenar transformers sin retropropagación usando ruido de activación por token","url":"https://qlabs.sh/research/dust","host":"qlabs.sh","by":"startupxo","score":0,"comments":0,"time":"2026-10-06T08:39:02.529Z","origin":"curated","language":{"source":"ko","reading":"es","translated":true},"summary":["Dust es un nuevo algoritmo que aplica perturbaciones aleatorias a los valores de activación neuronal de cada token y estima gradientes midiendo y promediando cuánto estas perturbaciones reducen la pérdida por token.","Las estrategias evolutivas tradicionales requerían una pasada hacia adelante separada para cada peso, pero Dust aplica perturbaciones de forma independiente a nivel de token, evaluando miles de perturbaciones en una sola pasada hacia adelante, mejorando mucho la eficiencia computacional.","En experimentos del equipo de investigación de Q Labs, Dust mejoró la eficiencia entre 1000 y 10.000 veces en comparación con la estrategia evolutiva en el espacio de pesos EGGROLL al entrenar con más de 1 millón tokens; esta mejora fue más notable conforme aumentó el tamaño del modelo.","También confirmaron que los gradientes estimados con estrategias evolutivas coincidían bien con los resultados de retropropagación hasta escalas de 1 mil millones tokens; sin embargo, actualmente la eficiencia computacional no es suficiente para reemplazar completamente la retropropagación."],"discussion":"https://startupxo.com/es/833/","markdown":"https://startupxo.com/es/833.md","api":"https://startupxo.com/api/v1/item.json?id=833&lang=es","text":null,"edited":null,"sources":[{"site":"hn","name":"Hacker News","url":"https://news.ycombinator.com/item?id=49970871","score":201,"comments":49,"observed_at":"2026-10-06T10:30:50Z"}],"thread":[]}