Ejemplos de la CLI del entorno de ejecución de IA

Important

Esta característica se encuentra en su versión beta. Los administradores del área de trabajo pueden controlar el acceso a esta característica desde la página Vistas previas . Consulte Administrar versiones preliminares de Azure Databricks.

Los siguientes ejemplos son cargas de trabajo completas, de extremo a extremo, que envías desde la CLI air con air run -f train.yaml. Cada uno de ellos muestra un patrón real multi-GPU en GPUs H100, incluidos el YAML de la carga de trabajo, los comandos de inicialización y el código. Comience con el inicio rápido si no ha enviado una ejecución antes.

Example Description
Ajuste de LLM de varios nodos con FSDP Ajuste fino supervisado de Llama-3.1-8B con 16 GPU H100 (2 nodos) mediante torchrun y PyTorch Fully Sharded Data Parallel (FSDP). Registra en MLflow y puntos de control en un volumen de Unity Catalog.
Entrenamiento distribuido con Ray Train Ajuste fino distribuido de datos paralelos con Ray Train TorchTrainer en 8 GPU H100 en un solo nodo, con un trabajo por GPU.
Inferencia por lotes con Ray Data y vLLM Inferencia por lotes de LLM desatendida con Ray Data y vLLM, con 8 GPU H100 en un único nodo, ejecutando una réplica de vLLM por GPU y escribiendo los resultados en un volumen de Unity Catalog en formato Parquet.
  • Last updated on