Buscar
Español

Cómo ejecutar modelos de IA directamente en tu PC y navegador: la velocidad de generación depende del ancho de banda de memoria(zenn.dev)

startupxo Conversar

Idioma del texto: coreanoVer en el idioma original

Resumen sencillo

- Un modelo de IA es, en esencia, un archivo que contiene una gran cantidad de números llamados pesos. Puedes elegir ejecutarlo en la nube, en un servidor interno o en un dispositivo personal, y si lo ejecutas en tu dispositivo, lo que introduces no sale de él. Tras la primera descarga, se puede usar sin conexión. - La velocidad al generar texto carácter a carácter depende más del ancho de banda de memoria que del rendimiento de cálculo. Según el cálculo del autor, las mediciones de referencia de llama.cpp alcanzaron entre 6 y 8 décimas del límite teórico, que es el ancho de banda dividido por el tamaño del modelo. Si introduces un documento largo, la caché KV (espacio donde se guardan resultados de cálculos previos) crece y la velocidad baja. - Con cuantización de 4 bits (método que reduce los números de forma gruesa para disminuir el tamaño), se presentaron ejemplos como Qwen3.5-4B para memoria de GPU de la clase 8GB y Qwen3.6-27B para la clase 24GB. Epoch AI comparó que el mejor modelo que funciona con 1 tarjetas RTX 5090 va por detrás del modelo de máximo nivel entre 6 y 12 meses de media. - En el navegador se pueden ejecutar modelos con WebLLM, basado en WebGPU, y con wllama, la versión de llama.cpp para navegador. El autor explica que los modelos pequeños pueden usarse para clasificar, leyendo solo las probabilidades de las opciones sin escribir texto, o ajustarse a un uso concreto con destilación y LoRA (método que entrena de forma adicional solo una parte de los pesos).

Leer la fuente ↗

Encontrado en

Zenn ↗ / Publicado por la fuente

¿Te ha pasado algo parecido? Cuéntanos en una o dos líneas qué hiciste. No hace falta conocer el producto.

Inicia sesión para comentar

Atajos de teclado

Elige una publicación con J y K o con las flechas y pulsa Enter.

K ↑ / J ↓
Publicación anterior / siguiente
Enter C
Abrir el resumen y los comentarios de la publicación elegida
O
Abrir el enlace original de la publicación elegida
/
Buscar
?
Mostrar esta ayuda
Tab
Ve al botón de publicar o comentar y pulsa Enter

Escribe con normalidad en los campos de texto. Tab y Enter siempre están disponibles.