토큰별 활성화 노이즈로 역전파 없이 트랜스포머 사전학습하는 방법(qlabs.sh)
작성 언어: 한국어작성 언어로 보기
쉬운 요약
- Dust는 각 토큰의 신경망 활성화 값에 무작위 변형을 주고, 이 변형이 손실을 얼마나 줄이는지 토큰별로 측정해 평균함으로써 그래디언트를 추정하는 새로운 알고리즘이다.
- 기존 진화전략 방법은 가중치마다 별도의 순전파가 필요했지만, Dust는 토큰 단위로 변형을 독립 적용해 한 번의 순전파로 수천 개의 변형을 평가하며 계산 효율을 크게 높인다.
- Q Labs 연구팀의 실험에서 Dust는 100만 개 토큰 이상 학습부터 기존 가중치 공간 진화전략인 EGGROLL 대비 1000~1만 배 효율이 향상됐으며, 모델 크기가 커질수록 이런 효율 증가 효과가 더 뚜렷했다.
- 또한 최대 10억 토큰 규모까지 진화전략으로 추정한 그래디언트가 역전파 결과와 잘 일치함을 확인했으며, 다만 현재는 역전파를 완전히 대체할 만큼 계산 효율이 충분하지는 않은 상태이다.
발견한 곳
Hacker News ↗ / 추천 201 / 댓글 49
비슷한 일을 겪어 본 적이 있나요? 그때 어떻게 했는지 한두 줄로 들려주세요. 제품을 잘 몰라도 괜찮습니다.