Inicio rápido de la CLI de AI Runtime

Important

La CLI del entorno de ejecución de IA está en beta.

Envíe el primer trabajo de entrenamiento con la CLI de AI Runtime en tres pasos: escriba una train.yaml configuración, ejecútelo con air runy, a continuación, inspeccione la ejecución. Antes de empezar, instale la CLI y configure la autenticación.

Paso 1: Escribir una configuración de YAML

Cree train.yaml que describa la carga de trabajo. La configuración mínima requiere un nombre de experimento, una especificación de proceso y un comando. El comando siguiente se ejecuta sin ningún código local, por lo que puede enviar su primera ejecución inmediatamente:

experiment_name: my-first-air-run
compute:
  num_accelerators: 1
  accelerator_type: GPU_1xA10
command: echo "hello AIR!"

Ejecute su propio código

Para ejecutar un script de entrenamiento local, agregue un environment bloque que muestre las dependencias de Python y un code_source bloque que cargue el código local. Coloque el script junto con train.yaml:

my-project/
├── train.yaml
└── train.py

experiment_name: my-first-air-run
environment:
  version: '4'
  dependencies:
    - torch
    - transformers
compute:
  num_accelerators: 1
  accelerator_type: GPU_1xA10
code_source:
  type: snapshot
  snapshot:
    root_path: .
command: python $CODE_SOURCE_PATH/train.py

Esta configuración instala las dependencias enumeradas, carga el directorio actual (root_path: .) y se ejecuta train.py en una sola GPU A10. $CODE_SOURCE_PATH apunta a la ubicación del código cargado en el nodo remoto. Databricks recomienda usar esto en lugar de codificar una ruta de acceso. environment.version selecciona la versión del entorno de GPU sin servidor y es opcional (el '4'valor predeterminado es ). Para todas las versiones disponibles, consulte Versiones de entorno sin servidor.

Para consultar la referencia completa de campos, vea la referencia de YAML de Workload.

Paso 2: Enviar la ejecución

Envíe la carga de trabajo:

air run --file train.yaml

La CLI carga el código local (si ha configurado un code_source), envía el trabajo e imprime un identificador de ejecución. Usa ese identificador para inspeccionar, monitorizar y cancelar la ejecución en comandos posteriores.

El envío crea una ejecución en el experimento de MLflow denominado en experiment_name (un experimento puede contener muchas ejecuciones). Esa ejecución captura las métricas, los parámetros, los artefactos y los registros de la carga de trabajo, todos visibles en la interfaz de usuario de MLflow del área de trabajo. Los registros también están disponibles fuera de MLflow: transmitirlos al terminal o a un archivo, o descargarlos más adelante con air logs (consulte el paso 3).

Para ver los registros hasta la finalización, agregue --watch:

air run --file train.yaml --watch

Paso 3: Inspección de la ejecución

Comprobar el estado:

air get run <run-id>

La salida incluye enlaces en los que se puede hacer clic al experimento de MLflow de la ejecución y a la ejecución de MLflow en la interfaz de usuario del área de trabajo.

Transmisión o descarga de registros:

air logs <run-id>
air logs <run-id> --node 2
air logs <run-id> --download-to ./logs/

Las cargas de trabajo distribuidas se ejecutan en varios nodos. De forma predeterminada, air logs transmite desde el nodo 0. Para ver los registros de un nodo específico, pase --node. Use --download-to para escribir registros en un directorio local en lugar de transmitirlos.

Listar ejecuciones recientes:

air list runs --limit 10
air list runs --active

Cancelar una ejecución:

air cancel <run-id>

Patrones comunes

Invalide los campos YAML de la línea de comandos:

air run --file train.yaml --override compute.num_accelerators=32 timeout_minutes=120

Valide la configuración sin enviar:

air run --file train.yaml --dry-run

Realice un envío de forma que se pueda reintentar con seguridad:

air run --file train.yaml --idempotency-key my-unique-key

Si se ha usado la misma clave antes, se devuelve la ejecución existente en lugar de crear una nueva.

Recursos adicionales

  • Last updated on