qlabs.sh에서 온 글

1. Find XO: 토큰별 활성화 노이즈로 역전파 없이 트랜스포머 사전학습하는 방법 ↗ (qlabs.sh)

   요약Dust는 각 토큰의 신경망 활성화 값에 무작위 변형을 주고, 이 변형이 손실을 얼마나 줄이는지 토큰별로 측정해 평균함으로써 그래디언트를 추정하는 새로운 알고리즘이다. 기존 진화전략 방법은 가중치마다 별도의 순전파가 필요했지만, Dust는 토큰 단위로 변형을 독립 적용해 한 번의 순전파로 수천 개의 변형을 평가하며 계산 효율을 크게 높인다. Q Labs…

   추천 없음 startupxo 2시간 전 요약 댓글 1

숨긴 글을 제외하면 이 페이지에 남은 글이 없습니다.