検索
日本語

qlabs.shの投稿

  1. トークンごとの活性化ノイズによる逆伝播なしトランスフォーマー事前学習の方法(qlabs.sh)

    要約Dustは各トークンのニューラルネットワーク活性化値にランダムな変形を加え、この変形が損失をどれだけ減少させるかをトークンごとに測定して平均化することで勾配を推定する新しいアルゴリズムです。 従来の進化戦略による方法は重みごとに別の順伝播計算を必要としましたが、Dustはトークン単位で変形を独立適用し、一度の順伝播で数千の変形を評価して計算効率を大幅に向上させます。 Q Labsの研究チームの実…

    startupxo 要約話し合う

キーボード操作

JとK、または上下矢印キーで投稿を選び、Enterで開きます。

K ↑ / J ↓
前の投稿 / 次の投稿
Enter C
選んだ投稿の要約とコメントを開く
O
選んだ投稿の元記事を開く
/
検索
?
このヘルプを表示
Tab
投稿やコメントのボタンに移動してEnter

入力欄では通常どおり入力できます。TabとEnterはいつでも使えます。