Weten of je AI echt werkt: evals, guardrails en eerlijk falen

Gewone software faalt luid: er komt een error, de test springt op rood. AI faalt stil. Hij geeft een vloeiend, plausibel, fout antwoord, en alles lijkt in orde tot een klant het opmerkt. Daarom stranden de meeste AI-projecten bij ‘het lijkt te werken’, en daarom is het meten juist het deel dat een demo van een product onderscheidt.

De drie dingen die betrouwbare AI nodig heeft

• Evals. Een testset van echte input met de juiste antwoorden, die bij elke wijziging meedraait. Zonder dat kan niemand zeggen of de aanpassing van vandaag hielp of schaadde. Dit is de unittest van AI.
• Guardrails. Grenzen aan wat het model mag zeggen en doen: checks op de input, validatie op de output, en harde stops op de acties die ertoe doen. Het model stelt voor; de guardrails bepalen wat erdoorheen mag.
• Eerlijk falen. Een duidelijk ‘ik weet het niet’ of een doorzet naar een mens, in plaats van een zelfverzekerde gok. In de meeste bedrijven kost een fout antwoord meer dan een ontbrekend antwoord.

Waarom dit de lastige, onzichtbare helft is

Niets hiervan demoot lekker. Niemand juicht voor een eval-set. Maar het is het verschil tussen een AI die je voor klanten durft te zetten en een die je constant moet bijsturen. Het is ook wat verbeteren veilig maakt: met evals kun je de prompt aanpassen, het model wisselen of de retrieval tunen én echt weten of het beter werd.

Bouw eerst de meting

De snelste weg naar betrouwbare AI is de eval-set bouwen vóór je de laatste procenten kwaliteit najaagt. Verzamel echte vragen en juiste antwoorden, meet waar je staat, en verbeter tegen dat getal. Zo wordt ‘de AI voelt niet goed’ een concreet, oplosbaar gat, en het is het eerste wat we opzetten, niet het laatste.