검색
한국어

토큰별 활성화 노이즈로 역전파 없이 트랜스포머 사전학습하는 방법(qlabs.sh)

startupxo 토론하기

작성 언어: 한국어작성 언어로 보기

쉬운 요약

- Dust는 각 토큰의 신경망 활성화 값에 무작위 변형을 주고, 이 변형이 손실을 얼마나 줄이는지 토큰별로 측정해 평균함으로써 그래디언트를 추정하는 새로운 알고리즘이다. - 기존 진화전략 방법은 가중치마다 별도의 순전파가 필요했지만, Dust는 토큰 단위로 변형을 독립 적용해 한 번의 순전파로 수천 개의 변형을 평가하며 계산 효율을 크게 높인다. - Q Labs 연구팀의 실험에서 Dust는 100만 개 토큰 이상 학습부터 기존 가중치 공간 진화전략인 EGGROLL 대비 1000~1만 배 효율이 향상됐으며, 모델 크기가 커질수록 이런 효율 증가 효과가 더 뚜렷했다. - 또한 최대 10억 토큰 규모까지 진화전략으로 추정한 그래디언트가 역전파 결과와 잘 일치함을 확인했으며, 다만 현재는 역전파를 완전히 대체할 만큼 계산 효율이 충분하지는 않은 상태이다.

원문 읽기 ↗

발견한 곳

Hacker News ↗ / 추천 201 / 댓글 49

비슷한 일을 겪어 본 적이 있나요? 그때 어떻게 했는지 한두 줄로 들려주세요. 제품을 잘 몰라도 괜찮습니다.

로그인하고 댓글 쓰기

키보드 단축키

J와 K, 또는 위아래 방향키로 글을 고르고 Enter로 엽니다.

K ↑ / J ↓
이전 글 / 다음 글
Enter C
선택한 글의 요약과 댓글 열기
O
선택한 글의 원문 열기
/
검색
?
이 도움말 보기
Tab
글쓰기나 댓글 버튼으로 이동한 뒤 Enter

입력 칸에서는 평소처럼 입력하세요. Tab과 Enter는 항상 사용할 수 있습니다.