Problema
«El agente ha visto una incidencia» parece una afirmación precisa, pero comprime demasiadas decisiones. ¿Qué cámara observó? ¿Qué intervalo analizó? ¿Qué objeto siguió? ¿Qué regla convirtió una trayectoria en incidente? ¿Qué modelo verificó la alerta? ¿Dónde está el clip que permite revisarla?
El vídeo es convincente para una persona y difícil de gobernar para un sistema. Una respuesta natural puede describir bien la escena y seguir siendo inútil como evidencia: no conserva coordenadas, tiempo, fuente, versión ni grado de incertidumbre. Si después activa una alarma, bloquea una operación o abre un caso, la organización necesita algo más sólido que una frase plausible.
La arquitectura oficial de NVIDIA Video Search and Summarization muestra el cambio de escala: combina visión en tiempo real, analítica posterior y herramientas agénticas para búsqueda, informes y preguntas sobre vídeo.
Tesis
El output operativo de un agente visual no debe ser una descripción; debe ser un evento auditable.
Ese evento conecta percepción y decisión sin fingir certeza. Declara origen, ventana temporal, entidades observadas, regla aplicada, confianza, evidencia recuperable y estado de verificación. La persona o el sistema que actúa puede reconstruir qué ocurrió y separar detección, interpretación, política y resultado.
La separación importa porque cada capa falla de manera distinta. Una detección puede perder un objeto. El tracking puede confundir identidades. La regla puede clasificar mal una proximidad. El verificador puede rechazar una alerta correcta. Una única etiqueta final borra el lugar donde debe corregirse el sistema.
Framework
NVIDIA divide VSS en inteligencia de vídeo en tiempo real, analítica posterior y procesamiento agéntico u offline. La primera capa produce detecciones, tracking, embeddings o descripciones; la segunda calcula comportamientos e incidentes; la tercera consulta esas salidas mediante herramientas y puede recuperar clips o snapshots.
La propia documentación incluye un servicio de verificación de alertas. Recupera el segmento asociado al timestamp, usa un modelo de visión-lenguaje para contrastar el incidente y persiste un veredicto —confirmado, rechazado o no verificado— junto con su traza. Esa distinción es más valiosa que un «sí» automático: conserva la incertidumbre como estado operativo.
Un contrato de evento puede organizarse así:
| Campo | Pregunta que responde | Riesgo que reduce |
|---|---|---|
| procedencia | ¿qué sensor y flujo originaron el evento? | mezclar fuentes |
| ventana | ¿qué intervalo debe revisarse? | perder contexto |
| entidad | ¿qué objeto o trayectoria se siguió? | confundir identidades |
| regla | ¿qué condición disparó el incidente? | inferir sin política |
| confianza | ¿qué incertidumbre conserva el sistema? | falsa precisión |
| evidencia | ¿qué clip, frame o metadata lo sostiene? | alerta irrevisable |
| veredicto | ¿fue confirmado, rechazado o quedó abierto? | acción prematura |
El evento no necesita contener el vídeo completo. Necesita apuntar de forma estable al fragmento correcto y conservar la metadata suficiente para reproducir la decisión. El almacenamiento puede separar contenido sensible y registro operativo, con permisos y retención distintos.
Por qué importa ahora
Los blueprints visuales ya conectan streams, detectores, modelos de visión-lenguaje, brokers, bases de búsqueda y agentes. El blueprint VSS de NVIDIA se presenta como una base para ingerir vídeo en directo o archivado y ofrecer resumen y consulta interactiva. La capacidad deja de estar confinada a una demo que responde preguntas sobre un archivo.
Cuando el vídeo entra en workflows, un error puede propagarse a mantenimiento, seguridad, logística o atención al cliente. El control útil no consiste en exigir revisión humana de cada frame. Consiste en elevar la evidencia mínima según el efecto: una búsqueda informativa tolera más incertidumbre que una alerta que detiene una línea o acusa una conducta.
También cambia observabilidad. No basta con trazar el prompt del agente. Hay que unir el run con sensor, modelo visual, regla, segmento y efecto externo. Solo entonces puede calcularse cuántas alertas fueron verificadas, cuáles se rechazaron y dónde empezó cada fallo.
Anti-ejemplo
Una cámara detecta una posible entrada en zona restringida. El agente resume «persona no autorizada» y abre automáticamente una incidencia. El registro conserva el texto y la hora de creación, pero no el identificador de cámara, la trayectoria, la regla ni el clip exacto.
Más tarde se descubre que era una persona autorizada vista desde otro ángulo. Nadie puede saber si falló la detección, la asociación entre cámaras, la lista de permisos o la instrucción del agente. El sistema tiene un outcome y ningún diagnóstico.
El problema tampoco se arregla guardando todo el vídeo indefinidamente. Acumular contenido sin índices, propósito y retención aumenta coste y exposición, pero no mejora la cadena de evidencia.
Protocolo (3 pasos)
- Define el evento antes del modelo. Especifica campos, estados de incertidumbre, evidencia mínima y consumidor autorizado.
- Verifica antes del efecto. Recupera el segmento relevante y aplica una comprobación independiente para acciones sensibles.
- Une evento y outcome. Registra qué decisión ocurrió, quién la confirmó y si el efecto esperado se produjo.
| Etapa | Artefacto | Gate |
|---|---|---|
| percepción | metadata y referencia visual | fuente identificada |
| incidente | evento estructurado | regla reproducible |
| decisión | veredicto y política | evidencia suficiente |
Relacionado
- Cosmos 3: evidencia antes de permitir una acción física
- AI Traces: la capa que convierte agentes en sistemas auditables
- Proof-carrying output: cuando la respuesta crítica debe traer prueba ejecutable
Fuentes consultadas
Próximo paso
Toma una alerta visual real y reconstruye su contrato. Si no puedes señalar sensor, intervalo, entidad, regla, evidencia y veredicto, no conectes todavía el agente a una acción. Primero convierte la interpretación en un evento que otra persona pueda discutir y el sistema pueda auditar.