Guía práctica para configurar OpenCode con Ollama y ejecutar modelos de inteligencia artificial para programación utilizando una GPU local. El tutorial parte de un entorno con Linux y una GPU NVIDIA de 16 GB de VRAM, aunque explica criterios que pueden aplicarse a otros equipos según la memoria disponible, el modelo elegido y el tamaño de contexto necesario.

El artículo aborda la elección de modelos GGUF orientados a programación, especialmente variantes de Qwen, así como la importancia de la cuantización y del reparto de carga entre GPU y CPU. También explica cómo reducir el consumo de memoria mediante Flash Attention y la caché K/V cuantizada, crear variantes de un mismo modelo con diferentes ventanas de contexto y configurarlas en OpenCode para trabajar con Ollama como proveedor local.

La guía incluye comandos y ejemplos de configuración para Linux, Ollama y OpenCode, comprobaciones mediante 'ollama ps' y ajustes avanzados como 'num_ctx' y 'num_batch'. Finalmente, muestra un caso práctico de optimización con un modelo Qwen 3.6 de 27B, ajustado a 48k de contexto para ejecutarse íntegramente en una GPU de 16 GB, evitando el offloading a CPU.

»Accede al contenido completo