AI-agents die écht werk doen (en waar ze in productie stukgaan)

Een AI-agent is een model dat zelf iets kan dóén: je tools aanroepen, je data opvragen, stappen doorlopen. Niet alleen antwoorden in een chatvenster. Op een podium lijkt het toveren. In productie is het gewoon software met een onvoorspelbare kern, en juist dat maakt het lastig.

Wij bouwen agents die echt werk doen, en we worden net zo vaak gebeld om er eentje te repareren die dat niet doet. De manieren waarop het misgaat, laten zich goed voorspellen.

Waar agents stukgaan

• Geen guardrails op acties. Een demo-agent die geld kan terugstorten, kan dat net zo goed naar de verkeerde klant doen, tien keer achter elkaar, voordat iemand het doorheeft. Acties hebben grenzen, bevestigingen en een weg terug nodig.
• Werkt alleen als alles meezit. In de demo is de input netjes. In productie komt de kapotte pdf binnen, het lege veld, de klant die in drie statussen tegelijk staat. Dan moet een agent veilig stoppen, niet vol zelfvertrouwen doorrammen.
• Geen evals. Niemand kan zeggen of die prompt-aanpassing van vorige week het beter of slechter maakte, want er is geen set echte cases om tegen te testen. ‘Lijkt goed’ is geen release-check.
• Geen observability. Gaat er iets mis, dan is er geen spoor van wat de agent zag, wat hij besloot en waarom. En wat je niet ziet, kun je niet fixen.

Wat een productie-agent nodig heeft

Dezelfde discipline als elk systeem waar iets van afhangt, plus een paar AI-specifieke dingen. Acties die afgebakend en terug te draaien zijn, met een bevestiging op de riskante. Een eval-set met echte input die bij elke wijziging meedraait. Guardrails op wat hij mag aanraken. Logging van elke beslissing, zodat een mens het kan nalopen. En een duidelijke grens: wat doet de agent zelf, en wat legt hij bij een mens neer?

Begin klein

De agents die productie halen, beginnen klein: één workflow, duidelijke grenzen, en een mens erbij op de plekken waar een fout duur is. Vergroot de scope pas als de evals het vertrouwen hebben verdiend. Een agent die één ding betrouwbaar doet, wint het van een demo die indrukwekkend alles doet en niks oplevert.