公開AIモデルKimi-K3.1-Proを8基のGPUサーバーに直接載せ、速度とコード最適化能力を比較(zenn.dev)
書く言語: 韓国語書かれた言語で読む
わかりやすい要約
- Kimi-K3.1-Proは、中国のMoonshot AIが重みを公開した大規模言語モデルである。日本のFixstarsがこれを自社サーバーに直接導入し、応答速度とコードを素早く修正する能力を試験した。
- エヌビディア B300 GPU 8基のサーバー一台で、同時セッション 64個のとき、ユーザーあたり毎秒64.4トークンが出た。同条件の旧モデルKimi-K3は38.7である。測定は4分のサンプルで、公式の推奨は30分以上である。
- 自社で作成したアセンブリ最適化課題12件を、10個のモデルが解いた。3回の試行のうち最高スコア基準で、Kimi-K3.1-Proが0.9494点で第1位、DeepSeek-V4.1-Flash-1017が僅差で第2位である。
- 筆者は、この課題が自社業務に合わせた評価であるため、外部の総合指標(AA Index v5)の差より差が小さかったとみている。ライセンスは大手API提供事業者に別途の許諾を求めるが、社内利用は自由であると明記されている。
掲載元
Zenn ↗ / 掲載記事
似たような経験はありますか?そのときどうしたか、一言二言で教えてください。製品に詳しくなくても大丈夫です。