トークンごとの活性化ノイズによる逆伝播なしトランスフォーマー事前学習の方法(qlabs.sh)
書く言語: 韓国語書かれた言語で読む
わかりやすい要約
- Dustは各トークンのニューラルネットワーク活性化値にランダムな変形を加え、この変形が損失をどれだけ減少させるかをトークンごとに測定して平均化することで勾配を推定する新しいアルゴリズムです。
- 従来の進化戦略による方法は重みごとに別の順伝播計算を必要としましたが、Dustはトークン単位で変形を独立適用し、一度の順伝播で数千の変形を評価して計算効率を大幅に向上させます。
- Q Labsの研究チームの実験では、Dustは100万個トークン以上の学習から従来の重み空間進化戦略であるEGGROLLと比較して1000~1万倍の効率改善を示し、モデルサイズが大きくなるほど効率の向上効果がより顕著でした。
- また、最大10億トークンスケールまで進化戦略で推定した勾配が逆伝播の結果とよく一致することを確認しましたが、現時点では逆伝播を完全に置き換えるほどの計算効率は十分ではありません。
掲載元
Hacker News ↗ / おすすめ 201 / コメント 49
似たような経験はありますか?そのときどうしたか、一言二言で教えてください。製品に詳しくなくても大丈夫です。