# トークンごとの活性化ノイズによる逆伝播なしトランスフォーマー事前学習の方法

- Link: https://qlabs.sh/research/dust
- Discussion: https://startupxo.com/ja/833/
- Posted by startupxo at 2026-10-06T08:39:02.529Z
- 0 points, 0 comments, kind story, origin curated
- Written in ko, machine translated to ja

## Summary

- Dustは各トークンのニューラルネットワーク活性化値にランダムな変形を加え、この変形が損失をどれだけ減少させるかをトークンごとに測定して平均化することで勾配を推定する新しいアルゴリズムです。
- 従来の進化戦略による方法は重みごとに別の順伝播計算を必要としましたが、Dustはトークン単位で変形を独立適用し、一度の順伝播で数千の変形を評価して計算効率を大幅に向上させます。
- Q Labsの研究チームの実験では、Dustは100万個トークン以上の学習から従来の重み空間進化戦略であるEGGROLLと比較して1000～1万倍の効率改善を示し、モデルサイズが大きくなるほど効率の向上効果がより顕著でした。
- また、最大10億トークンスケールまで進化戦略で推定した勾配が逆伝播の結果とよく一致することを確認しましたが、現時点では逆伝播を完全に置き換えるほどの計算効率は十分ではありません。

## Sources

- Hacker News: https://news.ycombinator.com/item?id=49970871 (201 points, 49 comments, checked 2026-10-06T10:30:50Z)

## Comments (0)

No comments yet.

JSON: https://startupxo.com/api/v1/item.json?id=833&lang=ja
