{"id":833,"kind":"story","title":"토큰별 활성화 노이즈로 역전파 없이 트랜스포머 사전학습하는 방법","url":"https://qlabs.sh/research/dust","host":"qlabs.sh","by":"startupxo","score":0,"comments":0,"time":"2026-10-06T08:39:02.529Z","origin":"curated","language":{"source":"ko","reading":"ko","translated":false},"summary":["Dust는 각 토큰의 신경망 활성화 값에 무작위 변형을 주고, 이 변형이 손실을 얼마나 줄이는지 토큰별로 측정해 평균함으로써 그래디언트를 추정하는 새로운 알고리즘이다.","기존 진화전략 방법은 가중치마다 별도의 순전파가 필요했지만, Dust는 토큰 단위로 변형을 독립 적용해 한 번의 순전파로 수천 개의 변형을 평가하며 계산 효율을 크게 높인다.","Q Labs 연구팀의 실험에서 Dust는 100만 개 토큰 이상 학습부터 기존 가중치 공간 진화전략인 EGGROLL 대비 1000~1만 배 효율이 향상됐으며, 모델 크기가 커질수록 이런 효율 증가 효과가 더 뚜렷했다.","또한 최대 10억 토큰 규모까지 진화전략으로 추정한 그래디언트가 역전파 결과와 잘 일치함을 확인했으며, 다만 현재는 역전파를 완전히 대체할 만큼 계산 효율이 충분하지는 않은 상태이다."],"discussion":"https://startupxo.com/ko/833/","markdown":"https://startupxo.com/ko/833.md","api":"https://startupxo.com/api/v1/item.json?id=833&lang=ko","text":null,"edited":null,"sources":[{"site":"hn","name":"Hacker News","url":"https://news.ycombinator.com/item?id=49970871","score":201,"comments":49,"observed_at":"2026-10-06T10:30:50Z"}],"thread":[]}