Problema
El proveedor muestra una generación muy rápida y el equipo espera que la aplicación mejore en la misma proporción. En producción, la petición espera en una cola, recupera documentos, consulta herramientas y tarda en mostrar un resultado útil. La cifra del modelo describe solo una parte del recorrido.
Además, la carga de una demostración puede diferir de la real en longitud de entrada, salida, concurrencia y uso de caché. Sin esas condiciones, comparar cifras resulta poco informativo.
Tesis
Evalúa la inferencia dentro de un escenario de servicio. MLPerf organiza pruebas por escenarios y métricas; GenAI-Perf distingue, entre otras medidas, el tiempo hasta el primer token, el intervalo entre tokens y el rendimiento de solicitudes. Esa separación permite identificar qué mejora y qué permanece igual.
La aceptación debe incluir calidad y coste. Una configuración más rápida que produzca más correcciones puede empeorar el tiempo hasta una tarea válida.
Framework
Describe la carga antes de medir
Usa entradas representativas de tu operación y registra su distribución. Incluye solicitudes cortas, contextos extensos y salidas de distinta longitud. Mantén identificadas las versiones y configuraciones para que otra ejecución pueda compararse.
Separa pruebas con caché preparada de pruebas sin ella. Ambas pueden ser relevantes, pero responden a preguntas distintas. La carga real puede contener repeticiones, contenido nuevo y picos que una demostración estable no reproduce.
Sigue la petición hasta el resultado útil
Mide espera, preparación, primer contenido visible y finalización. Añade el tiempo de herramientas y recuperación cuando formen parte del flujo. Para el usuario, la respuesta empieza a aportar valor cuando puede interpretarla o actuar, no necesariamente cuando llega el primer fragmento.
Observa también la dispersión. Un promedio favorable puede ocultar solicitudes muy lentas que concentran reclamaciones o abandonos. La elección del indicador debe reflejar el compromiso de servicio que necesita la tarea, sin adoptar umbrales ajenos por comodidad.
Conserva calidad y coste en la comparación
Evalúa resultados con los mismos criterios de aceptación. Registra reintentos, errores y revisión humana. Si cambia la longitud de la respuesta, comprueba que sigue resolviendo la misma petición: una respuesta incompleta puede parecer rápida simplemente porque termina antes.
La ficha de un ensayo que permite decidir
Supuesto de carga: respuestas de soporte basadas en documentos. Prepara casos breves, casos que necesitan localizar una excepción y casos con documentos extensos. Para cada uno conserva una respuesta aceptable o un criterio de abstención antes de comparar proveedores.
| Campo del ensayo | Qué debe quedar registrado | Error que evita |
|---|---|---|
| Entrada y salida | Longitudes observadas y tarea solicitada | Comparar trabajo diferente |
| Carga | Ritmo de llegada y concurrencia efectiva | Confundir una petición aislada con servicio estable |
| Caché | Estado frío o preparado y criterio de preparación | Atribuir al modelo una ventaja de reutilización |
| Tiempos | Envío, primera respuesta y finalización | Mezclar inicio rápido con final rápido |
| Resultado | Aceptación, error, abandono y reintento | Contar solo las respuestas que terminaron bien |
GenAI-Perf define el tiempo hasta la primera respuesta y la latencia de solicitud desde la perspectiva del cliente del benchmark. No los sumes: la latencia total ya contiene el tramo inicial. Para separar cola, prefill y herramientas necesitas instrumentación adicional del recorrido; la diferencia entre métricas agregadas no identifica por sí sola la causa.
Sube la carga por etapas y conserva también los rechazos. Si las peticiones lentas agotan el plazo y desaparecen del cálculo, el servicio puede parecer más rápido precisamente cuando empeora. Publica por separado las terminadas, las rechazadas y las que vencieron, junto a la distribución de tiempos de las que completaron.
El ensayo favorece una configuración cuando cumple el compromiso de servicio y la rúbrica de calidad bajo la carga prevista. Una ventaja en generación que se pierde al recuperar documentos no justifica atribuir la misma mejora a la experiencia completa. Este diseño no aporta cifras medidas de proveedores; especifica cómo obtener una comparación defendible.
Por qué importa ahora
Las ofertas de inferencia compiten por velocidad y eficiencia. Traducirlas a una carga propia permite distinguir una mejora útil de una cifra obtenida bajo supuestos que no se cumplen en el producto.
Anti-ejemplo
Caso hipotético: el equipo elige una configuración por su velocidad de generación. Bajo concurrencia, aumenta la espera antes de empezar a responder. El vídeo de demostración sigue siendo correcto, pero describe una situación diferente de la que sufren los usuarios.
Protocolo (3 pasos)
| Paso | Condición a fijar | Resultado |
|---|---|---|
| Representar | Entradas, salidas, caché y concurrencia | Carga reconocible para el negocio |
| Descomponer | Espera, generación y dependencias | Cuello de botella localizado |
| Aceptar | Calidad, coste y dispersión | Decisión sobre servicio completo |
Relacionado
- Token-to-Outcome: el KPI que separa IA usada de IA rentable
- Gemini 3.5 Flash: cuando la latencia deja de ser técnica y se vuelve estrategia
Fuentes consultadas
Próximo paso
Pide al proveedor las condiciones del benchmark y ejecuta una carga que se parezca a tu producto. Si no puedes explicar la diferencia entre ambas, todavía no tienes una comparación para comprar.