Find XO: トークンごとの活性化ノイズで逆伝播なしにトランスフォーマー事前学習する方法 (qlabs.sh)

- Dustは各トークンのニューラル活性化値にランダムな変動を加え、その変動が損失をどれだけ減らすかをトークンごとに測定し平均することで勾配を推定する新しいアルゴリズムです。 - 従来の進化戦略では重みごとに別々の順伝播が必要でしたが、Dustはトークン単位で変動を独立適用し、一度の順伝播で数千もの変動を評価して計算効率を大幅に向上させます。 - Q Labs研究チームの実験では、Dustは100万トークン以上の学習から、従来の重み空間進化戦略EGGROLLと比べて1000～1倍の効率向上を示し、モデルサイズが大きくなるほど効率向上効果が顕著になりました。 - また、最大10億トークン規模まで進化戦略で推定した勾配が逆伝播の結果とよく一致していることを確認しましたが、現状では逆伝播を完全に置き換えるほどの計算効率はまだ十分ではありません。