# Ciencia autónoma: el entregable es el experimento reproducible

> Un informe generado necesita datos, código, condiciones y límites que permitan repetir el resultado y discutir su interpretación.

- Author: Viktor Berthelius (BRTHLS)
- Published: 2026-11-16
- Category: systems thinking
- Tags: ciencia, reproducibilidad, agentes
- Language: es
- Canonical: https://www.brthls.com/magazine/ciencia-autonoma-expediente-reproducible-es
- Source: BRTHLS Magazine — https://www.brthls.com

---

## Problema

Un agente formula una hipótesis, ejecuta código y redacta un informe con gráficos. La cadena parece completa hasta que otra persona intenta repetir el resultado y descubre datos transformados sin registro, una comparación desigual o una conclusión que excede el experimento.

La automatización puede acelerar la producción de un documento sin mejorar la capacidad de comprobarlo. La apariencia científica añade un riesgo: el formato puede resultar más convincente que la evidencia disponible.

## Tesis

Evalúa el expediente reproducible, no solo el manuscrito. La presentación original de The AI Scientist, de Sakana AI, reconoce limitaciones como implementaciones incorrectas y comparaciones injustas con referencias. Se cita aquí como antecedente metodológico, no como descripción de todas las versiones posteriores ni de toda investigación automatizada.

El marco de riesgos de NIST aporta una orientación general para evaluar sistemas en su contexto. La propuesta práctica es aplicar esa disciplina al recorrido entre hipótesis, ejecución y afirmación.

## Framework

### Fija el criterio antes de ver el resultado

Describe qué observación apoyaría la hipótesis y cuál la debilitaría. Conserva una referencia adecuada y determina qué diferencias entre configuraciones están permitidas. Si el agente puede cambiar el objetivo después de ejecutar, resulta difícil distinguir aprendizaje de selección conveniente.

Registra las transformaciones de datos y las exclusiones con su motivo. Un resultado puede depender de decisiones de preparación que el texto final apenas menciona. Esas decisiones deben ser revisables junto al código.

### Guarda ejecuciones, no solo gráficos

El expediente debe vincular datos autorizados, configuración, código y salida. Conserva fallos y resultados desfavorables relevantes. Un gráfico final no permite reconstruir qué ejecuciones se descartaron ni por qué.

Define el entorno necesario para repetir. Si depende de un servicio externo cambiante, anota esa limitación y guarda los identificadores disponibles. Reproducible no significa necesariamente idéntico; sí significa que otra persona puede entender las condiciones y evaluar las diferencias.

### Separa observación e interpretación

La ejecución demuestra lo ocurrido bajo unas condiciones. La explicación de por qué ocurrió y la extensión a otros contextos requieren argumentos adicionales. El informe debe mantener visible esa frontera, especialmente cuando propone una decisión empresarial.

La revisión independiente debe poder cuestionar la referencia, el método y la conclusión. Pedir al mismo agente que confirme su informe puede aportar comprobaciones, pero no elimina la necesidad de revisar los supuestos compartidos.

### Un expediente para comparar métodos de clasificación

Supuesto de investigación aplicada: un agente propone otra forma de clasificar documentos internos. El expediente de ejemplo utiliza datos sintéticos y separa la preparación del método de su evaluación final.

```text
experimento/
  pregunta.md          hipótesis, referencia y criterio de rechazo
  datos/               entradas autorizadas y particiones identificadas
  transformaciones/    código que produce los datos evaluados
  configuracion/       versiones y condiciones de cada método
  ejecuciones/         resultados completos, incluidos fallos
  analisis/            procedimiento que construye tablas y figuras
  conclusion.md        resultado observado y límites
```

La estructura es una propuesta de entrega, no un formato de Sakana AI. Su valor se comprueba retirando el manuscrito y pidiendo a otra persona que reconstruya una tabla desde las entradas. Si necesita una decisión no registrada del agente, esa dependencia debe volver al expediente.

La referencia y el método nuevo deben recibir la misma información permitida. Si los documentos de evaluación se usaron para elegir instrucciones, ya no constituyen un contraste independiente. Reserva casos para comprobar la conclusión después de cerrar los ajustes y conserva el historial de decisiones que llevaron a esa versión.

Una mejora aparente puede desaparecer al incluir documentos difíciles que el agente había descartado. Por eso las exclusiones deben fijarse con motivo y quedar visibles antes del análisis final. La revisión busca tanto reproducir el cálculo como cuestionar si la comparación responde a la hipótesis.

El expediente puede terminar sin ventaja demostrada. Esa salida sigue siendo útil si identifica bajo qué condiciones el método nuevo falla o no justifica su coste. Redactar una conclusión negativa proporcional a la evidencia también es completar el trabajo científico.

## Por qué importa ahora

Los flujos autónomos hacen más barato producir y probar hipótesis. El recurso escaso pasa a ser distinguir cuáles merecen confianza y qué trabajo permiten decidir. Sin expediente, la velocidad aumenta el volumen de afirmaciones difíciles de auditar.

## Anti-ejemplo

Caso hipotético: un agente mejora un algoritmo frente a una referencia que ejecutó con una configuración menos favorable. El informe describe una ventaja del método, aunque el experimento solo demuestra una diferencia de condiciones.

## Protocolo (3 pasos)

| Paso | Artefacto | Revisión |
| --- | --- | --- |
| Formular | Hipótesis, referencia y criterio | Comparación justa antes de ejecutar |
| Ejecutar | Datos, código, condiciones y salidas | Repetición y fallos recuperables |
| Interpretar | Conclusión y límites | Alcance proporcional a la evidencia |

## Relacionado

- [Proof-carrying output: cuando la respuesta crítica debe traer prueba ejecutable](/magazine/proof-carrying-output-prueba-ejecutable-agentes-es)
- [Output Verification Layer: el seguro invisible de los agentes en producción](/magazine/output-verification-layer-seguro-invisible-agentes-produccion-es)

## Fuentes consultadas

- [Sakana AI — The AI Scientist, alcance y limitaciones originales](https://sakana.ai/ai-scientist/)
- [NIST — AI Risk Management Framework](https://www.nist.gov/itl/ai-risk-management-framework)

## Próximo paso

Pide a alguien ajeno a la ejecución que reconstruya una figura desde sus entradas. Si no puede hacerlo ni identificar qué falta, el siguiente entregable debe ser el expediente.

## Lecturas conectadas

- [Output Verification Layer: el seguro invisible de los agentes en producción](https://www.brthls.com/magazine/output-verification-layer-seguro-invisible-agentes-produccion-es) — Conexión editorial.
- [Proof-carrying output: cuando la respuesta crítica debe traer prueba ejecutable](https://www.brthls.com/magazine/proof-carrying-output-prueba-ejecutable-agentes-es) — Conexión editorial.
- [Revocar un agente: qué pasa con el trabajo que ya estaba en marcha](https://www.brthls.com/magazine/revocar-agente-trabajo-en-curso-es) — Temas en común: agentes.

---

_Cite as: Berthelius, V. (2026). "Ciencia autónoma: el entregable es el experimento reproducible". BRTHLS Magazine. https://www.brthls.com/magazine/ciencia-autonoma-expediente-reproducible-es_
