端末内で音声を文字に変換する16.9MBのモデル Whistleを公開(cactuscompute.com)
書く言語: 韓国語書かれた言語で読む
わかりやすい要約
- Whistleは音声を文字に変換するモデルで、開発元のCactusによると、ファイル一つのサイズは16.9MBです。原文では、別途の依存関係なしにCPUで動作すると説明されています。
- 英語、ドイツ語、フランス語、スペイン語、イタリア語、オランダ語、ポーランド語を含む7言語に対応し、一度に最大30秒まで処理できます。言語を指定しない場合は自動で検出します。
- 単語ごとに開始時刻と終了時刻、確率を併せて出力する機能があります。keywordsに名前などの表現を渡すと、検索時にその表現が選ばれる確率が高まるとされています。
- 性能の数値は開発元が測定した結果です。Apple M4 Pro CPUで、音声の長さ10秒、ビームサイズ5の条件で測定した最初のトークンまでの時間は11.1msで、同じ条件のWhisper baseは73.2msと比較されています。
- 精度は項目によって異なります。原文には、LibriSpeech、SPGISpeech、Earnings-22、FLEURSの平均ではWhistleが優れ、TED-LIUM、AMI、MLSの平均ではWhisper baseが優れていると記されています。
掲載元
Hacker News ↗ / おすすめ 631 / コメント 136
似たような経験はありますか?そのときどうしたか、一言二言で教えてください。製品に詳しくなくても大丈夫です。