Problem
“Human in the loop” lyder ansvarligt, men det betyder ofte en tvetydig kø, hvor ingen ved, hvornår de skal gribe ind, hvad de skal gennemgå eller med hvilke kriterier de skal godkende.
Resultatet er dårligt i begge retninger: agenter, der er for tilbageholdende til simple opgaver, og for frie i følsomme beslutninger.
Menneskelig supervision kan ikke være en permanent rød knap. Det skal være en designet kapacitet.
Tese
Human as Tool er en mere operationel måde at tænke supervision på.
Mennesket optræder ikke som den sidste romantiske forsvarslinje. Det optræder som et specialiseret værktøj, som agenten kan invocere, når den detekterer usikkerhed, risiko, tvetydighed, undtagelse eller høj påvirkning.
Det kræver interface, SLA, kontekst og kriterier.
Framework
Et menneskeligt værktøj skal have fem parametre:
- Trigger: hvornår det invokeres.
- Payload: hvilken kontekst mennesket modtager.
- Decision set: hvilke valg det kan træffe.
- SLA: hvor længe agenten kan vente.
- Learning loop: hvordan beslutningen forbedrer fremtidige regler eller evals.
Mini-case: en juridisk agent forbereder kontraktlige svar. Den bør ikke bede om godkendelse for alt. Den skal kun eskalere, når den detekterer ansvarsskifte, sanktioner, ikke-standardiserede vilkår eller strategisk kunde. Mennesket modtager diff, risiko, anbefaling og valgmuligheder.
Målbar signal: procentdel af menneskelige eskaleringer med trigger, beslutning og genanvendeligt resultat.
Holdning: supervision uden design er friktion. Invokérbar supervision er arkitektur.
Hvorfor det er vigtigt nu
OpenAI anbefaler menneskelig supervision til følsomme, irreversible eller højpåvirkelige handlinger. MCP inkluderer elicitation som et mønster til at bede brugeren om yderligere information under en interaktion. I agentiske systemer er spørgsmålet ikke længere “menneske ja eller nej”, men bliver “hvilket menneske, hvornår, med hvilken kontekst og for at beslutte hvad”.
Mennesket bliver en knude i workflowet, ikke en lappeløsning.
Anti-eksempel
“Alt godkendes af nogen inden afsendelse.”
Det virker sikkert, men dræber hastigheden og lærer ikke systemet noget. Hvis hver godkendelse ankommer uden taksonomi, lærer agenten ikke, hvilke situationer der reelt er farlige.
Protokol (3 trin)
- Definer eskalerings-triggere. Juridisk risiko, penge, følsomme data, irreversibilitet, lav tillid.
- Design minimums-payload. Kontekst, agentens anbefaling, grund til eskalering og valg.
- Afslut læring. Hver menneskelig beslutning skal fodre regel, eval eller dokumentation.
| Trigger | Passende menneske | Forventet output |
|---|---|---|
| juridisk risiko | legal | godkend/afvis |
| følsomme data | security | tilladelse |
| nøglekunde | account owner | kriterium |
| lav tillid | domæneekspert | svar |
| irreversibel handling | manager | autorisation |
Relateret
- Human Escalation Design: hvornår en agent skal bede om hjælp, og hvornår den skal fortsætte alene
- Agent Handoffs: gnidningsløse overdragelser mellem mennesker og agenter
- Output Verification Layer: den usynlige forsikring for agenter i produktion
Konsulterede kilder
- OpenAI: A practical guide to building agents
- MCP Elicitation specification
- OpenAI: Evals for AI agents
Næste skridt
Vælg et workflow med menneskelige godkendelser. Spørg ikke “kan vi automatisere det”. Spørg, hvilke triggere der berettiger et menneske, hvilken payload det har brug for, og hvilken beslutning det skal returnere.
Oversat fra den spanske original med AI-hjælp og gennemset for nøjagtighed. Læs originalen på spansk.