Problema
Un agente formula una hipótesis, ejecuta código y redacta un informe con gráficos. La cadena parece completa hasta que otra persona intenta repetir el resultado y descubre datos transformados sin registro, una comparación desigual o una conclusión que excede el experimento.
La automatización puede acelerar la producción de un documento sin mejorar la capacidad de comprobarlo. La apariencia científica añade un riesgo: el formato puede resultar más convincente que la evidencia disponible.
Tesis
Evalúa el expediente reproducible, no solo el manuscrito. La presentación original de The AI Scientist, de Sakana AI, reconoce limitaciones como implementaciones incorrectas y comparaciones injustas con referencias. Se cita aquí como antecedente metodológico, no como descripción de todas las versiones posteriores ni de toda investigación automatizada.
El marco de riesgos de NIST aporta una orientación general para evaluar sistemas en su contexto. La propuesta práctica es aplicar esa disciplina al recorrido entre hipótesis, ejecución y afirmación.
Framework
Fija el criterio antes de ver el resultado
Describe qué observación apoyaría la hipótesis y cuál la debilitaría. Conserva una referencia adecuada y determina qué diferencias entre configuraciones están permitidas. Si el agente puede cambiar el objetivo después de ejecutar, resulta difícil distinguir aprendizaje de selección conveniente.
Registra las transformaciones de datos y las exclusiones con su motivo. Un resultado puede depender de decisiones de preparación que el texto final apenas menciona. Esas decisiones deben ser revisables junto al código.
Guarda ejecuciones, no solo gráficos
El expediente debe vincular datos autorizados, configuración, código y salida. Conserva fallos y resultados desfavorables relevantes. Un gráfico final no permite reconstruir qué ejecuciones se descartaron ni por qué.
Define el entorno necesario para repetir. Si depende de un servicio externo cambiante, anota esa limitación y guarda los identificadores disponibles. Reproducible no significa necesariamente idéntico; sí significa que otra persona puede entender las condiciones y evaluar las diferencias.
Separa observación e interpretación
La ejecución demuestra lo ocurrido bajo unas condiciones. La explicación de por qué ocurrió y la extensión a otros contextos requieren argumentos adicionales. El informe debe mantener visible esa frontera, especialmente cuando propone una decisión empresarial.
La revisión independiente debe poder cuestionar la referencia, el método y la conclusión. Pedir al mismo agente que confirme su informe puede aportar comprobaciones, pero no elimina la necesidad de revisar los supuestos compartidos.
Un expediente para comparar métodos de clasificación
Supuesto de investigación aplicada: un agente propone otra forma de clasificar documentos internos. El expediente de ejemplo utiliza datos sintéticos y separa la preparación del método de su evaluación final.
experimento/ pregunta.md hipótesis, referencia y criterio de rechazo datos/ entradas autorizadas y particiones identificadas transformaciones/ código que produce los datos evaluados configuracion/ versiones y condiciones de cada método ejecuciones/ resultados completos, incluidos fallos analisis/ procedimiento que construye tablas y figuras conclusion.md resultado observado y límitesLa estructura es una propuesta de entrega, no un formato de Sakana AI. Su valor se comprueba retirando el manuscrito y pidiendo a otra persona que reconstruya una tabla desde las entradas. Si necesita una decisión no registrada del agente, esa dependencia debe volver al expediente.
La referencia y el método nuevo deben recibir la misma información permitida. Si los documentos de evaluación se usaron para elegir instrucciones, ya no constituyen un contraste independiente. Reserva casos para comprobar la conclusión después de cerrar los ajustes y conserva el historial de decisiones que llevaron a esa versión.
Una mejora aparente puede desaparecer al incluir documentos difíciles que el agente había descartado. Por eso las exclusiones deben fijarse con motivo y quedar visibles antes del análisis final. La revisión busca tanto reproducir el cálculo como cuestionar si la comparación responde a la hipótesis.
El expediente puede terminar sin ventaja demostrada. Esa salida sigue siendo útil si identifica bajo qué condiciones el método nuevo falla o no justifica su coste. Redactar una conclusión negativa proporcional a la evidencia también es completar el trabajo científico.
Por qué importa ahora
Los flujos autónomos hacen más barato producir y probar hipótesis. El recurso escaso pasa a ser distinguir cuáles merecen confianza y qué trabajo permiten decidir. Sin expediente, la velocidad aumenta el volumen de afirmaciones difíciles de auditar.
Anti-ejemplo
Caso hipotético: un agente mejora un algoritmo frente a una referencia que ejecutó con una configuración menos favorable. El informe describe una ventaja del método, aunque el experimento solo demuestra una diferencia de condiciones.
Protocolo (3 pasos)
| Paso | Artefacto | Revisión |
|---|---|---|
| Formular | Hipótesis, referencia y criterio | Comparación justa antes de ejecutar |
| Ejecutar | Datos, código, condiciones y salidas | Repetición y fallos recuperables |
| Interpretar | Conclusión y límites | Alcance proporcional a la evidencia |
Relacionado
- Proof-carrying output: cuando la respuesta crítica debe traer prueba ejecutable
- Output Verification Layer: el seguro invisible de los agentes en producción
Fuentes consultadas
Próximo paso
Pide a alguien ajeno a la ejecución que reconstruya una figura desde sus entradas. Si no puede hacerlo ni identificar qué falta, el siguiente entregable debe ser el expediente.