Problema
Una conversación fluida puede ocultar una mala decisión. Un agente de voz suena natural, gestiona una interrupción y cierra la llamada, pero registra el motivo equivocado, promete algo no permitido o escala demasiado tarde.
La revisión manual de algunas llamadas detecta defectos de experiencia. No ofrece, por sí sola, cobertura suficiente para comprobar políticas, herramientas, estados y resultados a medida que cambian las instrucciones o los modelos.
Tesis
El QA de voz debe evaluar decisiones observables dentro de escenarios reproducibles. La unidad de prueba no es una frase ni una llamada bonita: es una trayectoria que parte de un estado, atraviesa condiciones y termina en un resultado empresarial permitido.
La documentación de Vapi distingue la simulación de llamadas y la evaluación de resultados. Esa separación es fundamental: la simulación crea contexto y variación; el evaluador decide si el agente alcanzó el objetivo, respetó la política y produjo el estado correcto. NIST refuerza la necesidad de pruebas y evaluación como práctica continua de gestión del riesgo.
Framework
Una suite útil combina:
- Escenarios: intención, contexto, ruido, interrupciones y casos límite.
- Decisiones: reglas que el agente debe aplicar o escalar.
- Acciones: llamadas a herramientas y cambios de estado autorizados.
- Resultados: resolución, transferencia, registro y cumplimiento.
La voz se puede escuchar, pero el sistema se debe inspeccionar. Transcripción, eventos, herramientas y estado final forman una única evidencia.
Por qué importa ahora
Los agentes de voz se integran en ventas, soporte y operaciones. En esos flujos, una interacción convincente puede producir un dato incorrecto que afecte a la siguiente decisión. Automatizar las pruebas permite revisar cambios frecuentes sin convertir cada despliegue en una sesión manual irrepetible.
Anti-ejemplo
El equipo llama al agente antes de publicar una nueva versión. La conversación parece natural y se aprueba el cambio. No se prueba un usuario indeciso, una herramienta no disponible ni una solicitud fuera de política. En producción, el agente resuelve la conversación, pero deja el sistema en un estado que el siguiente equipo no puede utilizar.
Protocolo (3 pasos)
| Paso | Decisión | Evidencia mínima |
|---|---|---|
| Modelar | Definir estados iniciales, variaciones y resultados permitidos | Catálogo de escenarios ligado a riesgos reales |
| Simular | Ejecutar conversaciones con variación controlada | Trazas de voz, herramientas y estado final |
| Decidir | Bloquear o promover según evaluaciones acordadas | Umbral y excepción con propietario explícito |
Relacionado
- Voz full-duplex: turnos, interrupciones y política de producto
- Eval-Driven Development: prototipo antes que benchmark
- Agent Incident Response: cómo investigar el fallo de un sistema agéntico
Fuentes consultadas
- Vapi Docs — Voice testing
- NIST — AI Resource Center
- NIST — Artificial Intelligence Risk Management Framework
Próximo paso
Convierte el último fallo o escalado incorrecto en un escenario reproducible. La próxima versión no debería poder publicarse sin demostrar que toma la decisión esperada.