Cómo ejecutar Ollama en Debian

Ejecutar un modelo de lenguaje en tu propia máquina te da privacidad, control y cero dependencia de servicios externos. En esta guía usamos Ollama en Debian, de dos formas: instalación directa y con Docker.

Opción 1: instalación directa

curl -fsSL https://ollama.com/install.sh | sh
ollama run llama3.2

La primera vez se descarga el modelo, y después puedes chatear desde la terminal.

Opción 2: con Docker

docker run -d \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  --name ollama \
  ollama/ollama

docker exec -it ollama ollama run llama3.2

Si tienes una GPU NVIDIA, instala nvidia-container-toolkit y agrega --gpus=all al comando docker run.

Probar la API

Ollama expone una API local en el puerto 11434:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Explica qué es un contenedor en una frase",
  "stream": false
}'

Resumen