Find XO: 選択肢の中から答えを選ぶAIモデルを自分で作り、確信度を合わせる方法(nishtahir.com)

- この方式では、モデルに文字を一語ずつ続けて書かせる代わりに、あらかじめ決めた選択肢AからEまでのうち一つを一回の計算で選ばせる。原文は、モデルが出せる答えの範囲を制限する方式だと説明している。 - 原文の著者は、CommonsenseQAデータセットからランダムに抽出した1,221問に対してQwen3-1.7Bモデルを実行し、正解率は0.5938だったと明らかにした。その後、簡単な追加学習を行うと正解率は0.6241に上がったという。 - 著者はモデルが出力する確率を確信度とみなし、確信度0.9から1.0の区間で実際の正解率は0.7009だったと報告した。つまり、モデルは過信している状態だという。温度の値3.797を適用すると、区間ごとの確信度と正解率はより近づいたという。