- Dust es un nuevo algoritmo que aplica perturbaciones aleatorias a los valores de activación neuronal de cada token y estima gradientes midiendo y promediando cuánto estas perturbaciones disminuyen la pérdida para cada token.
- Las estrategias evolutivas tradicionales requieren una pasada hacia adelante separada para cada peso, pero Dust aplica perturbaciones de manera independiente a nivel de token y evalúa miles de perturbaciones en una sola pasada hacia adelante, mejorando enormemente la eficiencia computacional.
- En experimentos del equipo de investigación de Q Labs, Dust mejoró la eficiencia de 1000 a 1 veces en comparación con EGGROLL, una estrategia evolutiva tradicional en el espacio de pesos, a partir de un entrenamiento de más de 100 millones de tokens, con esta mejora en eficiencia más pronunciada a medida que aumentaba el tamaño del modelo.
- Además, se confirmó que los gradientes estimados mediante estrategias evolutivas hasta una escala de 10 cientos de millones de tokens coincidían bien con los resultados de retropropagación, aunque actualmente la eficiencia computacional no es suficiente para reemplazar completamente la retropropagación.
La idea de crear entidades virtuales por token para evaluaciones paralelas, introduciendo ruido aleatorio en la etapa de activación y compensando los cambios en la pérdida por token para estimar el gradiente, es destacable. Sin embargo, parece necesario investigar más concretamente cómo estas modificaciones aleatorias en el espacio de activación afectan la generación de pérdidas por capa y la estabilidad del entrenamiento del modelo.