Determinación del tamaño de PTU para una carga de trabajo

Visualización actual:Nueva versión - Cambio a la versión del portal de Foundry clásico

Antes de crear una implementación aprovisionada, calcule cuántas unidades de rendimiento aprovisionadas (PTU) necesita la carga de trabajo. En este artículo se proporcionan los parámetros de rendimiento por modelo que necesita y se muestra cómo calcular los requisitos de PTU mediante fórmulas de ajuste de tamaño o la calculadora de capacidad de Foundry.

Si no está familiarizado con el rendimiento aprovisionado, comience con ¿Qué es el rendimiento aprovisionado para foundry Models?. Cuando esté preparado para crear la implementación, consulte Inicio rápido: Creación de una implementación con rendimiento aprovisionado.

Prerequisites

• Familiaridad con los conceptos de ¿Qué es la capacidad de procesamiento aprovisionada para los modelos de Foundry?.
• Una estimación de las características de la carga de trabajo: las solicitudes máximas esperadas por minuto (RPM), el tamaño medio del mensaje en los tokens y el tamaño medio de respuesta en los tokens.

Estimación de las PTU necesarias

Hay dos enfoques disponibles para calcular el número de PTUs necesarios para una carga de trabajo:

• Usar las fórmulas de ajuste de tamaño para el control total sobre el cálculo
• Use la calculadora de capacidad de Foundry para obtener una estimación guiada.

Ambos enfoques usan valores por modelo de las tablas de parámetros de implementación para generar estimaciones. Para obtener los resultados más precisos, realice una prueba comparativa de una implementación con respecto al tráfico representativo en lugar de depender únicamente de las entradas estimadas.

Calcular manualmente

Puede calcular las PTUs que requiere la carga de trabajo mediante los valores específicos del modelo de las tablas de parámetros de implementación e información sobre el tráfico esperado de la siguiente manera:

TPM normalizado

El cálculo manual de ptUs convierte el volumen de tokens esperado en un único número denominado TPM normalizado. A continuación, el número de PTU necesarios se determina dividiendo el TPM normalizado por el valor de TPM de entrada del modelo por PTU .

Fórmulas:

• TPM de entrada = Pico de RPM × tamaño medio de aviso (tokens)
• TPM de salida = Pico de RPM × tamaño medio de respuesta (tokens)
• TPM normalizado = (TPM de entrada × (1 - velocidad de caché)) + (relación de salida a entrada × TPM de salida)
• PTU requerido = TPM normalizado ÷ TPM de entrada por PTU

Ejemplo de trabajo:

Supongamos que su aplicación envía solicitudes a una tasa máxima de 1.000 RPM, con un tamaño medio del mensaje de entrada de 200 tokens y un tamaño medio de respuesta de 20 tokens, con el modelo gpt-5.2 y una implementación con rendimiento aprovisionado de zona de datos. En la tabla, gpt-5.2 tiene un TPM de entrada por PTU de 3400 y una relación de salida a entrada de 8.

• TPM de entrada = 1000 × 200 = 200 000
• TPM de salida = 1000 × 20 = 20 000
• TPM normalizado (sin caché) = 200 000 + (8 × 20 000) = 360 000
• PTU requeridas = 360 000 ÷ 3400 = 105,88 (110 PTU redondeadas hasta las 5 PTU más cercanas, que coinciden con el incremento de escala aprovisionado de zona de datos para gpt-5.2).

Si el 50 % de los tokens de entrada se obtienen de la caché de indicaciones:

• Entrada efectiva TPM = 200 000 × (1 − 0,50) = 100 000
• TPM normalizado = 100 000 + (8 × 20 000) = 260 000
• PTU requeridas = 360 000 ÷ 3400 = 105,88 (110 PTU redondeadas hasta las 5 PTU más cercanas, que coinciden con el incremento de escala aprovisionado de zona de datos para gpt-5.2).

En resumen, las PTUs necesarias para esta forma de llamada de ejemplo con y sin almacenamiento en caché son las siguientes:

¹ Redondeado hasta los 5 PTU más cercanos, que coinciden con el incremento de escala aprovisionado de zona de datos para gpt-5.2.

Uso de la calculadora de capacidad

Use la calculadora de capacidad en el portal de Foundry para ajustar el tamaño de las formas de carga de trabajo específicas. Busque la calculadora en la página Cuota y escriba los parámetros siguientes en función de la carga de trabajo:

Después de rellenar los detalles necesarios, seleccione Calcular. La salida muestra:

• Recuento estimado de PTU necesario para la carga de trabajo. Este valor se redondea al incremento de escala de PTU más cercano para el tipo de implementación seleccionado o al número mínimo de PTU del tipo de implementación, dependiendo de cuál sea mayor.
• El recuento estimado de PTU en bruto (sin redondear).

Cómo afectan los tokens de entrada y salida al rendimiento

El rendimiento (medido como tokens por minuto o TPM) que una implementación obtiene por PTU depende del modelo y de la combinación de tokens de entrada y salida en un minuto determinado. La generación de tokens de salida requiere más capacidad de procesamiento que consumir tokens de entrada.

Para los modelos GPT-4.1 y versiones posteriores, el sistema determina una relación de salida a entrada para que coincida con la relación de precios estándar global entre los tokens de entrada y salida, con excepciones para algunos modelos. Por ejemplo

• Para gpt-5, un token de salida cuenta como ocho tokens de entrada de cara a su límite de uso, en consonancia con la proporción del precio estándar global del modelo.
• Para gpt-4.1, un token de salida cuenta como cuatro tokens de entrada.
• Los modelos más antiguos usan diferentes ratios.

En todas las implementaciones, los tokens almacenados en caché se deducen al 100 % del cálculo de la utilización, lo que significa que los tokens de solicitud repetidos no consumen capacidad de PTU. Consulte Almacenamiento en caché de indicaciones para obtener más información.

Modelos con una relación de salida a entrada no estándar

Algunos modelos usan una relación de salida a entrada que difiere de su relación de precios estándar global. Por ejemplo, con Llama-3.3-70B-Instruct, un token de salida cuenta como cuatro tokens de entrada de cara a su límite de uso, lo que difiere de la proporción de precios estándar de ese modelo. Consulte los precios de los modelos llama para obtener el desglose completo de los precios de entrada y salida.

Parámetros de implementación y valores de rendimiento por modelo

En las tablas de esta sección se enumeran los parámetros de rendimiento e implementación de cada modelo admitido. Para comprender cuáles son los parámetros de cada fila, consulte el Apéndice.

Modelos Azure OpenAI más recientes

¹ Se calcula como latencia de solicitud p50 por cada 5 minutos. TPS = tokens por segundo.

Modelos anteriores Azure OpenAI

¹ Se calcula como la latencia media de la solicitud por minuto a lo largo del mes. TPS = tokens por segundo.

Modelos de Foundry comercializados por Azure

En esta sección se enumeran otros modelos de Foundry vendidos por Azure, no incluidos los Azure OpenAI en Foundry Models enumerados en las tablas anteriores.

¹ Para Llama-3.3-70B-Instruct, un token de salida cuenta como cuatro tokens de entrada para el límite de uso. Esta relación difiere de la relación de precios estándar global entre los tokens de entrada y salida. Consulte Modelos con una relación de salida a entrada no estándar y los precios del modelo Llama.

² Se calcula como la latencia media de la solicitud por minuto a lo largo del mes. TPS = tokens por segundo.

Fuegos artificiales en modelos Microsoft Foundry

Los siguientes modelos Fireworks de Microsoft Foundry admiten el rendimiento aprovisionado de la zona de datos global y de EE. UU.

¹ Se calcula como la latencia media de la solicitud por minuto a lo largo del mes. TPS = tokens por segundo.

Apéndice

Cada fila de las tablas corresponde a uno de los parámetros siguientes:

Contenido relacionado

• ¿Qué es el rendimiento suministrado de Foundry Models?
• Inicio rápido: Crear una implementación de rendimiento aprovisionado
• Facturación y gestión de costos del rendimiento aprovisionado
• Funcionamiento de implementaciones aprovisionadas en producción