qlabs.shの投稿

1. Find XO: トークンごとの活性化ノイズで逆伝播なしにトランスフォーマー事前学習する方法 ↗ (qlabs.sh)

   要約Dustは各トークンのニューラル活性化値にランダムな変動を加え、その変動が損失をどれだけ減らすかをトークンごとに測定し平均することで勾配を推定する新しいアルゴリズムです。 従来の進化戦略では重みごとに別々の順伝播が必要でしたが、Dustはトークン単位で変動を独立適用し、一度の順伝播で数千もの変動を評価して計算効率を大幅に向上させます。 Q Labs研究チームの実験では、Dustは100万トークン…

   おすすめなし startupxo 2時間前 要約 コメント 1

このページの投稿はすべて非表示になっています。