RAG, fine-tuning of prompting: wat heb je echt nodig?

Er zijn drie manieren om een AI te laten doen wat je wilt met jouw informatie: het in de prompt zetten, het ophalen op het moment van antwoorden (RAG), of het in het model bakken (fine-tuning). Het zijn geen concurrerende opties, het is een ladder. Je klimt er alleen zo hoog op als nodig.

De ladder, goedkoopste eerst

• Prompting. Geef het model de instructies en context in de prompt zelf. Het snelst, het goedkoopst, en verrassend vaak genoeg. Begin hier, altijd.
• RAG. Is de kennis te groot voor een prompt of verandert die vaak, haal dan de juiste stukken op tijdens het antwoorden. Dit is het antwoord op ‘beantwoord uit onze documenten’, en het is meteen actueel zodra de documenten wijzigen.
• Fine-tuning. Train het model op je voorbeelden zodat het een stijl, format of taak leert die je niet kunt uitleggen. Krachtig, maar traag om te bouwen, duur om te onderhouden, en verouderd op de dag dat je data verandert.

Wanneer fine-tuning het echt waard is

Fine-tuning verdient zijn kosten als je consistent gedrag nodig hebt dat een prompt niet betrouwbaar levert: een vaste toon op schaal, een strak uitvoerformat, een smalle classificatietaak met veel voorbeelden. Het is het verkeerde middel om het model feiten te leren, daar is RAG voor, en feiten veranderen terwijl een fine-tune bevroren is op het moment van trainen.

Waarom teams naar de dure trede springen

Fine-tuning klinkt als het ‘echte’ AI-werk, dus springen teams er meteen naartoe en trainen weken aan een model voor iets wat een prompt plus retrieval in een middag had gedaan. Wij beginnen bewust onderaan de ladder: de meeste problemen zijn twee treden lager opgelost dan mensen verwachten, en je geld gaat beter naar evals en de kwaliteit van je retrieval dan naar een fine-tune die je toch opnieuw moet doen.