Problem
En traditionel applikation fejler, og du kan normalt følge sporet: request, service, database, fejl, log, alarm. En agent fejler på en anden måde. Den kan hente forkert kontekst, vælge et dårligt værktøj, gentage et kald, ignorere en instruktion, brænde tokens af uden at producere noget resultat eller erklære succes, når der ikke skete noget reelt.
Hvis du kun kigger på input og output, ligner systemet en sort boks. Du ser spørgsmålet og svaret, men du ved ikke, hvilken vej det tog.
Det rækker ikke til enterprise-drift. En agent, der handler uden spor, er ikke autonomi – det er automatiseret uigennemsigtighed.
Tese
AI Traces bliver et obligatorisk lag for ethvert seriøst agentisk system.
Ikke fordi alle teams har brug for sofistikerede dashboards fra dag ét, men fordi uden spor er der ingen debugging, evaluering, compliance, omkostningsoptimering eller læring.
Sporet gør en kørsel til bevis: hvilken model der blev kaldt, hvilken prompt der blev brugt, hvilken kontekst der kom ind, hvilke tool calls der skete, hvilke fejl der optrådte, hvilken beslutning der blev truffet, og hvad det kostede.
Framework
Et brugbart spor skal indfange fem niveauer:
- Model: udbyder, model, parametre, tokens, latenstid og svar.
- Kontekst: hentede dokumenter, kilde, rangering, tilladelser og friskhed.
- Værktøjer: tool call, argumenter, resultat, fejl, retry og sideeffekt.
- Beslutning: hvorfor agenten valgte én rute og ikke en anden.
- Outcome: hvad der ændrede sig i det eksterne system, og om det blev verificeret.
Mini-case: en driftsagent siger, at den har opdateret et CRM. Uden spor ser du kun et overbevisende svar. Med spor ser du, at den hentede den korrekte kontakt, kaldte API’en med det korrekte ID, modtog 200, skrev det forventede felt og derefter verificerede statussen. Den forskel adskiller demo fra drift.
Målbar signatur: procentdel af kritiske kørsler, der kan genskabes eller auditeres ud fra et komplet spor.
Holdning: en agent uden trace bør ikke røre produktionssystemer.
Hvorfor det er vigtigt nu
OpenTelemetry opretholder allerede semantiske konventioner for generative systemer, herunder signaler til spans for model, agent og framework samt hændelser, undtagelser og metrics. LangSmith dokumenterer observabilitet for agenter med tracing af kald, trin og beslutninger. OpenAI behandler i deres praktiske guide til agenter guardrails, tool safeguards og output validation som produktionskomponenter, ikke som tilbehør.
Markedsretningen er tydelig: AI-observabilitet holder op med at være “gem prompts” og begynder at ligne distribueret tracing med agentsemantik.
Det har dybe implikationer. Hvis hver udbyder gemmer spor i sit eget format, bliver teamet låst fast i værktøjer. Hvis sporene derimod bruger delte konventioner, kan virksomheden sammenligne, migrere og auditere.
Anti-eksempel
“Vi gemmer alle prompts og svar i en tabel.”
Det er en god begyndelse, men det er ikke et spor. Den kausale kæde mangler: retrieval, værktøjer, fejl, retries, tilladelser, omkostninger og eksterne effekter. Den tekstlige log fortæller, hvad agenten sagde. Sporet fortæller, hvad den gjorde.
Protokol (3 trin)
- Spor først workflows med sideeffekter. Hvis de ændrer data, sender beskeder eller udfører handlinger, skal de efterlade et spor.
- Forbind trace og outcome. En vellykket kørsel tæller kun, hvis det eksterne system bekræfter den forventede ændring.
- Mærk fejl efter lag. Model, kontekst, tool, tilladelse, netværk, kriterium eller verifikation. Uden taksonomi begynder hver hændelse forfra.
| Lag | Hvad det indfanger | Hvad det bruges til |
|---|---|---|
| model | tokens, latenstid, svar | omkostning og ydeevne |
| kontekst | kilder og tilladelser | tillid og compliance |
| tool | argumenter og resultat | debugging |
| beslutning | valgt rute | evaluering |
| outcome | verificeret effekt | reelt ROI |
Relateret
- Agent Memory from Trace: nyttig hukommelse lever ikke i chatten, den lever i driften
- Token-to-Outcome: den KPI der adskiller brugt AI fra rentabel AI
- Agent Reliability Score: hvordan man ved, om en agent fortjener autonomi
Konsulterede kilder
- OpenTelemetry: Semantic conventions for generative AI systems
- LangSmith Observability
- OpenAI: A practical guide to building agents
Næste skridt
Vælg en agent, der allerede skaber værdi. Start ikke med at forbedre prompts. Start med at instrumentere et komplet spor af en rigtig kørsel, og find ud af, hvor beviserne forsvinder.
Oversat fra den spanske original med AI-hjælp og gennemset for nøjagtighed. Læs originalen på spansk.