RAG die écht antwoord geeft: waarom de demo werkt en de uitrol niet

RAG, retrieval-augmented generation, is dé manier om een AI te laten antwoorden uit je eigen kennis in plaats van te gokken. Voordat hij antwoordt, zoekt het model de relevante passages in je documenten op en schrijft daaruit. Zie het als een openboekexamen: hij hoeft je handboek niet uit zijn hoofd te kennen, hij moet alleen de juiste pagina vinden.

Precies daarom is de demo zo makkelijk en de uitrol zo lastig. Eén nette pdf en drie testvragen zien er magisch uit. Duizend echte documenten en echte gebruikers zijn een ander verhaal.

Waar RAG-uitrollen stukgaan

• De bottleneck is de retrieval, niet de generatie. Haalt de zoekstap de verkeerde passage op, dan schrijft het model een zelfverzekerd antwoord uit de verkeerde bron. De meeste klachten dat ‘de AI het fout heeft’ zijn eigenlijk ‘de retrieval had het fout’.
• Chunking bepaalt de kwaliteit. Knip je documenten verkeerd op, dan verliest het antwoord de context die het nodig had. Onspannend leidingwerk, en tegelijk het grootste deel van het werk.
• Rommel erin is rommel eruit. Gescande pdf’s, tabellen, dubbele beleidsstukken, verouderde versies. Echte documentsets zijn niet netjes, en de pipeline moet daartegen kunnen.
• Geen bron, geen vertrouwen. Kan het antwoord niet laten zien uit welk document het komt, dan leunt niemand in een gevoelige of gereguleerde omgeving erop.

Wat het overeind houdt

Een RAG-systeem in productie is vooral retrieval-engineering, geen prompting. Goede chunking en metadata. Een zoekstap die je kunt meten, met een eval-set van echte vragen en de bijbehorende juiste bronnen. Elk antwoord gekoppeld aan de passage waar het vandaan komt. Een manier om de index vers te houden als documenten wijzigen. En een ‘ik weet het niet’ als terugval, want een zelfverzekerd fout antwoord is erger dan een eerlijk gat.

Wanneer RAG niet het antwoord is

Past de kennis in één prompt, dan heb je geen RAG nodig; plak het er gewoon in. Draait het om redeneren in plaats van opzoeken, dan helpt retrieval je niet. En zijn je documenten een zooitje, dan is de bron opschonen vaak beter dan een pipeline bouwen bovenop de chaos. RAG verdient zijn plek als de kennis groot is, blijft veranderen, en met een bron beantwoord moet worden.