Personalización de Ollama en la GPU

Windows (ordenador)

A continuación se muestra un ejemplo de cómo personalizar Ollama para que se ejecute en la GPU de un sistema Windows.

Ollama Por defecto se utiliza la CPU para la inferencia. Este tutorial le guiará sobre cómo configurar la variable de entorno para habilitar la aceleración de la GPU en sistemas Windows.

condiciones previas

• El ordenador tiene una tarjeta gráfica NVIDIA.
• Los controladores gráficos de NVIDIA están instalados y pueden utilizarse con el comando nvidia-smi para comprobar si el controlador está instalado.
• El kit de herramientas CUDA está instalado y puede utilizarse con el comando nvcc --version para comprobar si CUDA está instalado.

Consejo

Para la instalación de los controladores gráficos NVIDIA y el kit de herramientas CUDA, puedes buscar tutoriales relacionados por tu cuenta, así que no los repetiré en este artículo. Si tu ordenador cumple los requisitos previos anteriores, Ollama está acelerado por GPU por defecto. Si quieres especificar una GPU concreta, puedes seguir los pasos que se indican a continuación para configurarla.

Configuración de variables de entorno

1. Abrir la configuración de las variables de entorno del sistema
   • Escriba "Variables de entorno" en la barra de búsqueda de Windows y seleccione "Editar variables de entorno del sistema".
   • En la ventana emergente Propiedades del sistema, haga clic en la pestaña Avanzadas y, a continuación, en el botón Variables de entorno.
2. Creación de la variable OLLAMA_GPU_LAYER
   • En el área "Variables del sistema", pulse el botón "Nueva".
   • En el cuadro de diálogo Nueva variable del sistema, introduzca la siguiente información:
     • Nombre de la variable: OLLAMA_GPU_LAYER
     • Valores variables: cuda (Esto le dirá a Ollama que use CUDA para la aceleración GPU)
   • Haz clic en "Aceptar" para guardar la variable.

   

3. (Opcional) Especifique la GPU a utilizar
   • Si su sistema tiene más de una GPU y desea especificar que Ollama utilice una GPU concreta, puede definir la opción CUDA_VISIBLE_DEVICES Variables de entorno.
   • Busca el UUID de la GPU: Se recomienda encarecidamente utilizar el UUID en lugar del número, ya que éste puede cambiar debido a actualizaciones de controladores o reinicios del sistema.
     • Abra un símbolo del sistema o PowerShell.
     • Ejecutar comando:nvidia-smi -L
     • En la salida, busque el valor "UUID" de la GPU que desea utilizar. Ejemplo:GPU 00000000:01:00.0 inferior UUID : GPU-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx.

     

   • Cree la variable CUDA_VISIBLE_DEVICES:
     • En el área "Variables del sistema", pulse el botón "Nueva".
     • En el cuadro de diálogo Nueva variable del sistema, introduzca la siguiente información:
       • Nombre de la variable: CUDA_VISIBLE_DEVICES
       • Valores variables: El UUID de la GPU encontrada, por ejemplo:GPU-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
     • Haz clic en "Aceptar" para guardar la variable.

Importante: Para que la variable de entorno sea efectiva, la variable Reinicie el terminal o la aplicación en la que se está ejecutando Ollama .

Compruebe que la aceleración de la GPU está activada:

1. Abra un símbolo del sistema.
2. Ejecuta Ollama, por ejemplo: ollama run deepseek-r1:1.5b
3. Abra una nueva ventana de símbolo del sistema y utilice el comando ollama ps para ver los procesos que se ejecutan en Ollama.

Linux

A continuación se muestra un ejemplo de cómo personalizar Ollama para que se ejecute en la GPU de un sistema Linux.

1. establecer ollama_gpu_selector.sh con el siguiente contenido:

#!/bin/bash

# Validate input
validate_input(){
if[[! $1 =~^[0-4](,[0-4])*$ ]];then
echo "Error: Invalid input. Please enter numbers between 0 and 4, separated by commas."
exit1
fi
}

# Update the service file with CUDA_VISIBLE_DEVICES values
update_service(){
# Check if CUDA_VISIBLE_DEVICES environment variable exists in the service file
if grep -q '^Environment="CUDA_VISIBLE_DEVICES='/etc/systemd/system/ollama.service;then
# Update the existing CUDA_VISIBLE_DEVICES values
sudo sed -i 's/^Environment="CUDA_VISIBLE_DEVICES=.*/Environment="CUDA_VISIBLE_DEVICES='"$1"'"/'/etc/systemd/system/ollama.service
else
# Add a new CUDA_VISIBLE_DEVICES environment variable
sudo sed -i '/\[Service\]/a Environment="CUDA_VISIBLE_DEVICES='"$1"'"'/etc/systemd/system/ollama.service
fi

# Reload and restart the systemd service
sudo systemctl daemon-reload
sudo systemctl restart ollama.service
echo "Service updated and restarted with CUDA_VISIBLE_DEVICES=$1"
}

# Check if arguments are passed
if["$#"-eq 0];then
# Prompt user for CUDA_VISIBLE_DEVICES values if no arguments are passed
read -p "Enter CUDA_VISIBLE_DEVICES values (0-4, comma-separated): " cuda_values
validate_input "$cuda_values"
update_service "$cuda_values"
else
# Use arguments as CUDA_VISIBLE_DEVICES values
cuda_values="$1"
validate_input "$cuda_values"
update_service "$cuda_values"
fi

2. Adición de permisos de ejecución a archivos de script

chmod +x ollama_gpu_selector.sh
sudo ./ollama_gpu_selector.sh

Después de ejecutar el script, siga las instrucciones para el número de GPU para especificar la GPU utilizada por Ollama. puede utilizar comas para separar varios números de GPU, por ejemplo:0,1,2.

3. Reiniciar el servicio Ollama

cat /etc/systemd/system/ollama.service

Después de ejecutar el comando, mire el archivo de servicio de Ollama y confirme que la opción CUDA_VISIBLE_DEVICES Se han actualizado las variables de entorno.

Si se ha actualizado, añadirá, por ejemplo Environment="CUDA_VISIBLE_DEVICES=0,1,2" variables de entorno.