- Strands Decider 2B es un modelo de IA de código abierto de pequeño tamaño que, a diferencia de los grandes modelos de lenguaje general que generan texto, decide rápidamente la opción más adecuada entre respuestas predeterminadas.
- Este modelo está compuesto por 2 mil millones parámetros y proporciona respuestas a preguntas en un promedio de aproximadamente 115 milisegundos en una tarjeta gráfica NVIDIA RTX3090 y también muestra un rendimiento de baja latencia de alrededor de 153 milisegundos en una MacBook Apple M3.
- La precisión y la confiabilidad (calibración) fueron evaluadas con el conjunto de datos JevBench, posicionándose entre las mejores dentro de modelos del mismo tamaño, según el equipo de Strands.
- Al no tener funciones de generación de texto, no es adecuado para tareas generales de modelos de lenguaje como codificación, chat o resumen de documentos, pero es ideal para tareas como toma de decisiones simples, selección de herramientas y enrutamiento de modelos.
El Strands Decider 2B se destaca por ser un modelo especializado en la selección de candidatos, lo que le permite tener una respuesta rápida y también ofrecer una puntuación de confiabilidad. Sin embargo, dado que su tipo de problema a resolver es limitado, parece adecuado para tareas que requieren juicios rápidos en entornos locales. Una pregunta que tengo es cuán estable es para su operación a largo plazo y cuánto varía su desempeño en diferentes entornos de hardware.