DeepSeek publica como código abierto DeepInfer, un motor de inferencia para modelos de IA a gran escala(github.com)

- DeepInfer es un software que acelera el proceso mediante el cual un modelo de IA recibe una pregunta y genera una respuesta. El texto original indica que DeepSeek lo utiliza como motor de su propio servicio de producción a gran escala. - Esta publicación se centra en la inferencia fuera de línea. Según el texto original, el sistema de caché KV, la separación entre prefill y decode y el balanceo de carga entre réplicas de paralelismo de datos, necesarios para un servicio completo, no se incluyen en esta publicación. - El entorno de preparación indicado en el texto original es Linux, GCC 13 o posterior, y Python 3.12. Las GPU de NVIDIA requieren CUDA 13, y las NPU Ascend de Huawei requieren CANN 9.2. El texto original indica como hardware compatible las GPU NVIDIA SM100 y las NPU Ascend 950. - Las cifras de rendimiento del README indican que se midieron con 4 GPU SM100 para prefill y 64 GPU para decode dentro del mismo grupo de conexión de alta velocidad. Son resultados que informa el equipo de desarrollo que publicó el repositorio, y la verificación de 3 parte no se confirma en el texto original.