ディープシーク、大規模AIモデル推論エンジンDeepInferをオープンソースで公開(github.com)

- DeepInferは、AIモデルが質問を受け取って回答を生成する実行過程を速く処理するソフトウェアです。原文では、ディープシークが自社の大規模運用サービスで使うエンジンだと紹介されています。 - 今回の公開はオフライン推論が中心です。原文によると、完全なサービスに必要なKVキャッシュシステム、プリフィルとデコードの分離、データ並列レプリカ間の負荷分散は今回の公開に含まれていません。 - 原文に記載された準備環境は、Linux、GCC 13以上、Python 3.12です。エヌビディアのGPUにはCUDA 13、ファーウェイのAscend NPUにはCANN 9.2が必要です。対応ハードウェアとして、エヌビディアのSM100 GPUとAscendの950 NPUが明記されています。 - READMEの性能数値は、同じ高速接続グループ内で、プリフィル用のSM100 GPUを4台、デコード用のGPUを64台で測定したという内容です。これはリポジトリを公開した開発チームが示した測定結果であり、第3者による検証は原文では確認できません。