検索・推薦に使うツインタワーモデル:事前計算で素早く探し、誤答の選び方で学習する(zenn.dev)
書く言語: 韓国語書かれた言語で読む
わかりやすい要約
- ツインタワーは、検索語やユーザー情報を読むニューラルネットワークと、検索対象の項目を読むニューラルネットワークを別々に持ち、それぞれが作る数値の組(ベクトル)を掛け合わせて、どのくらい合っているかのスコアを出します。スコアが高い項目を上に表示します。
- 項目側のベクトルはあらかじめ計算して保存しておけるため、検索時にはクエリ側だけを計算すればよくなります。筆者は、この点が大量の候補の検索に効率的だと説明しています。
- 学習では、同じバッチ内の他の正解項目を誤答(ネガティブ)として再利用します。人気の項目が誤答として使われすぎる偏りは出現確率で補正し(Yi らの論文)、ログに現れない項目はランダムな誤答で補います(Yang らの論文)。
- 紛らわしい誤答(ハードネガティブ)を使う方法について、Facebook の検索論文(Huang ら)は、101位から500位の候補を使ったときに再現率が最も良かったと報告しています。配備時の近似探索は速度を上げますが、一部の候補を見逃すことがあります。
掲載元
Zenn ↗ / 掲載記事
似たような経験はありますか?そのときどうしたか、一言二言で教えてください。製品に詳しくなくても大丈夫です。