Saltar al contenido
Volver al Magazine
systems-thinking 5 min de lectura

Ciencia autónoma: el entregable es el experimento reproducible

Puntos clave
  • → Un agente formula una hipótesis, ejecuta código y redacta un informe con gráficos.
  • → Evalúa el expediente reproducible, no solo el manuscrito.
  • → Describe qué observación apoyaría la hipótesis y cuál la debilitaría.
  • → Los flujos autónomos hacen más barato producir y probar hipótesis.
Contenido

Problema

Un agente formula una hipótesis, ejecuta código y redacta un informe con gráficos. La cadena parece completa hasta que otra persona intenta repetir el resultado y descubre datos transformados sin registro, una comparación desigual o una conclusión que excede el experimento.

La automatización puede acelerar la producción de un documento sin mejorar la capacidad de comprobarlo. La apariencia científica añade un riesgo: el formato puede resultar más convincente que la evidencia disponible.

Tesis

Evalúa el expediente reproducible, no solo el manuscrito. La presentación original de The AI Scientist, de Sakana AI, reconoce limitaciones como implementaciones incorrectas y comparaciones injustas con referencias. Se cita aquí como antecedente metodológico, no como descripción de todas las versiones posteriores ni de toda investigación automatizada.

El marco de riesgos de NIST aporta una orientación general para evaluar sistemas en su contexto. La propuesta práctica es aplicar esa disciplina al recorrido entre hipótesis, ejecución y afirmación.

Framework

Fija el criterio antes de ver el resultado

Describe qué observación apoyaría la hipótesis y cuál la debilitaría. Conserva una referencia adecuada y determina qué diferencias entre configuraciones están permitidas. Si el agente puede cambiar el objetivo después de ejecutar, resulta difícil distinguir aprendizaje de selección conveniente.

Registra las transformaciones de datos y las exclusiones con su motivo. Un resultado puede depender de decisiones de preparación que el texto final apenas menciona. Esas decisiones deben ser revisables junto al código.

Guarda ejecuciones, no solo gráficos

El expediente debe vincular datos autorizados, configuración, código y salida. Conserva fallos y resultados desfavorables relevantes. Un gráfico final no permite reconstruir qué ejecuciones se descartaron ni por qué.

Define el entorno necesario para repetir. Si depende de un servicio externo cambiante, anota esa limitación y guarda los identificadores disponibles. Reproducible no significa necesariamente idéntico; sí significa que otra persona puede entender las condiciones y evaluar las diferencias.

Separa observación e interpretación

La ejecución demuestra lo ocurrido bajo unas condiciones. La explicación de por qué ocurrió y la extensión a otros contextos requieren argumentos adicionales. El informe debe mantener visible esa frontera, especialmente cuando propone una decisión empresarial.

La revisión independiente debe poder cuestionar la referencia, el método y la conclusión. Pedir al mismo agente que confirme su informe puede aportar comprobaciones, pero no elimina la necesidad de revisar los supuestos compartidos.

Un expediente para comparar métodos de clasificación

Supuesto de investigación aplicada: un agente propone otra forma de clasificar documentos internos. El expediente de ejemplo utiliza datos sintéticos y separa la preparación del método de su evaluación final.

experimento/
pregunta.md hipótesis, referencia y criterio de rechazo
datos/ entradas autorizadas y particiones identificadas
transformaciones/ código que produce los datos evaluados
configuracion/ versiones y condiciones de cada método
ejecuciones/ resultados completos, incluidos fallos
analisis/ procedimiento que construye tablas y figuras
conclusion.md resultado observado y límites

La estructura es una propuesta de entrega, no un formato de Sakana AI. Su valor se comprueba retirando el manuscrito y pidiendo a otra persona que reconstruya una tabla desde las entradas. Si necesita una decisión no registrada del agente, esa dependencia debe volver al expediente.

La referencia y el método nuevo deben recibir la misma información permitida. Si los documentos de evaluación se usaron para elegir instrucciones, ya no constituyen un contraste independiente. Reserva casos para comprobar la conclusión después de cerrar los ajustes y conserva el historial de decisiones que llevaron a esa versión.

Una mejora aparente puede desaparecer al incluir documentos difíciles que el agente había descartado. Por eso las exclusiones deben fijarse con motivo y quedar visibles antes del análisis final. La revisión busca tanto reproducir el cálculo como cuestionar si la comparación responde a la hipótesis.

El expediente puede terminar sin ventaja demostrada. Esa salida sigue siendo útil si identifica bajo qué condiciones el método nuevo falla o no justifica su coste. Redactar una conclusión negativa proporcional a la evidencia también es completar el trabajo científico.

Por qué importa ahora

Los flujos autónomos hacen más barato producir y probar hipótesis. El recurso escaso pasa a ser distinguir cuáles merecen confianza y qué trabajo permiten decidir. Sin expediente, la velocidad aumenta el volumen de afirmaciones difíciles de auditar.

Anti-ejemplo

Caso hipotético: un agente mejora un algoritmo frente a una referencia que ejecutó con una configuración menos favorable. El informe describe una ventaja del método, aunque el experimento solo demuestra una diferencia de condiciones.

Protocolo (3 pasos)

Paso Artefacto Revisión
Formular Hipótesis, referencia y criterio Comparación justa antes de ejecutar
Ejecutar Datos, código, condiciones y salidas Repetición y fallos recuperables
Interpretar Conclusión y límites Alcance proporcional a la evidencia

Relacionado

Fuentes consultadas

Próximo paso

Pide a alguien ajeno a la ejecución que reconstruya una figura desde sus entradas. Si no puede hacerlo ni identificar qué falta, el siguiente entregable debe ser el expediente.

Preparar una reunión con este artículo

Decisión

Ver el patrón estructural antes de arreglar síntomas aislados.

Reunión

Revisión estratégica, org design, decision quality o operating cadence.

Riesgo

Tratar un problema de sistema como si fuera un problema de esfuerzo, talento o herramienta.

Prompt para agente: extraer bucles, incentivos, dependencias, síntomas y palancas de sistema

ciencia reproducibilidad agentes
Citar este artículo

Berthelius, V. (2026). “Ciencia autónoma: el entregable es el experimento reproducible”. BRTHLS Magazine. https://www.brthls.com/magazine/ciencia-autonoma-expediente-reproducible-es

Lecturas conectadas

  1. Conexión editorial

    Output Verification Layer: el seguro invisible de los agentes en producción

    Los agentes no necesitan solo mejores prompts. Necesitan una capa que verifique que el output cumple contrato antes de mover negocio.

    4 min de lectura

  2. Conexión editorial

    Proof-carrying output: cuando la respuesta crítica debe traer prueba ejecutable

    Para decisiones formalizables, un agente debe entregar una afirmación junto con un artefacto que un verificador independiente pueda aceptar o rechazar.

    3 min de lectura

  3. Temas en común · agentes

    Revocar un agente: qué pasa con el trabajo que ya estaba en marcha

    Retirar acceso debe contemplar sesiones, tareas delegadas y efectos pendientes, además de desactivar una credencial.

    5 min de lectura

Fractional CAIO · Diagnóstico gratuito

¿Tu empresa está lista para operar con IA?

30 minutos. Sin pitch. Un diagnóstico honesto de dónde estás y qué mover primero.

Reservar diagnóstico gratuito