{"id":1408,"kind":"story","title":"Cómo ejecutar modelos de IA directamente en tu PC y navegador: la velocidad de generación depende del ancho de banda de memoria","url":"https://zenn.dev/port_inc/articles/ff974c7456f4db","host":"zenn.dev","by":"startupxo","score":0,"comments":0,"time":"2026-11-17T12:28:20.676Z","origin":"curated","language":{"source":"ko","reading":"es","translated":true},"summary":["Un modelo de IA es, en esencia, un archivo que contiene una gran cantidad de números llamados pesos. Puedes elegir ejecutarlo en la nube, en un servidor interno o en un dispositivo personal, y si lo ejecutas en tu dispositivo, lo que introduces no sale de él. Tras la primera descarga, se puede usar sin conexión.","La velocidad al generar texto carácter a carácter depende más del ancho de banda de memoria que del rendimiento de cálculo. Según el cálculo del autor, las mediciones de referencia de llama.cpp alcanzaron entre 6 y 8 décimas del límite teórico, que es el ancho de banda dividido por el tamaño del modelo. Si introduces un documento largo, la caché KV (espacio donde se guardan resultados de cálculos previos) crece y la velocidad baja.","Con cuantización de 4 bits (método que reduce los números de forma gruesa para disminuir el tamaño), se presentaron ejemplos como Qwen3.5-4B para memoria de GPU de la clase 8GB y Qwen3.6-27B para la clase 24GB. Epoch AI comparó que el mejor modelo que funciona con 1 tarjetas RTX 5090 va por detrás del modelo de máximo nivel entre 6 y 12 meses de media.","En el navegador se pueden ejecutar modelos con WebLLM, basado en WebGPU, y con wllama, la versión de llama.cpp para navegador. El autor explica que los modelos pequeños pueden usarse para clasificar, leyendo solo las probabilidades de las opciones sin escribir texto, o ajustarse a un uso concreto con destilación y LoRA (método que entrena de forma adicional solo una parte de los pesos)."],"discussion":"https://startupxo.com/es/1408/","markdown":"https://startupxo.com/es/1408.md","api":"https://startupxo.com/api/v1/item.json?id=1408&lang=es","text":null,"edited":null,"sources":[{"site":"rss","name":"Zenn","url":"https://zenn.dev/port_inc/articles/ff974c7456f4db","score":null,"comments":null,"observed_at":"2026-11-17T18:25:01Z"}],"thread":[]}