Wat is RAG? AI die antwoordt uit je eigen documenten

RAG werkt in vier stappen. Je knipt je documenten op in kleine stukken, legt per stuk de betekenis vast, zoekt bij elke vraag de stukken die erover gaan en laat het taalmodel antwoorden met alleen die stukken, plus de bron. De eerste twee stappen gebeuren vooraf, de laatste twee bij elke vraag.

1. Opknippen

Een handboek van tachtig pagina's geef je niet bij elke vraag in zijn geheel mee. Dat is traag, duur en het model raakt de draad kwijt. Dus knip je de documenten op in stukken van een paar alinea's, met de titel en het hoofdstuk erbij. Hoe je knipt, maakt meer uit dan je denkt. Knip je een tabel doormidden, dan staat de prijs in het ene stuk en het product in het andere.

2. Betekenis vastleggen

Van elk stuk maak je een embedding: een reeks getallen die de betekenis vastlegt. Die gaan in een vectordatabase. Teksten met dezelfde betekenis liggen daarin dicht bij elkaar, ook als ze andere woorden gebruiken. 'Kan ik mijn bestelling terugsturen?' vindt zo ook het hoofdstuk 'Retourvoorwaarden', terwijl het woord retour niet in de vraag staat.

3. Zoeken

Stelt iemand een vraag, dan zoekt het systeem de stukken die er het meest op lijken. Vaak combineer je dat met gewoon zoeken op woorden, voor ordernummers, productcodes en namen. Daarna gaat er een filter overheen. Mag deze gebruiker dit document wel zien? En is dit de nieuwste versie?

4. Antwoorden met bron

Het taalmodel krijgt de vraag, de gevonden stukken en een duidelijke instructie: antwoord alleen op basis van deze stukken, noem de bron en zeg het eerlijk als het antwoord er niet in staat. Die laatste zin is de belangrijkste van de hele opzet. Een assistent die zegt 'dat weet ik niet, vraag het aan de teamleider' is goud waard. Een assistent die gokt, kost je klanten.

Het model zelf verandert hierbij niet. Je traint niets. Pas je het retourbeleid aan, dan vervang je het document, en vanaf dat moment krijgt iedereen het nieuwe antwoord. Dat is het grote verschil met fine-tuning, waarbij je het model zelf bijleert.

Je hebt RAG nodig als de kennis groot is, vaak verandert, per gebruiker afgeschermd moet zijn of door veel mensen tegelijk wordt gebruikt. Gaat het om een handvol documenten voor één team, dan heb je geen eigen RAG-systeem nodig. Zet ze in een Claude Project of een custom GPT, en je bent vandaag nog klaar.

Dat tweede wordt vaak vergeten. De vraag is dan 'bouw een chatbot op onze eigen kennis', terwijl het om een prijslijst, een huisstijlgids en tien voorbeeldoffertes gaat. Daarvoor hoef je niets te laten bouwen. In de APO-methode is dat bouwlaag 2: assistenten en projecten, die je team zelf maakt en bijhoudt. Hoe je dat aanpakt, staat in een eigen AI-assistent maken.

Een assistent is genoeg als

• het om een handvol documenten gaat die je met de hand kunt bijwerken
• één team de assistent gebruikt, en iedereen in dat team alles mag zien
• een medewerker de vraag stelt en het antwoord zelf controleert
• je niet hoeft terug te zien wie wat vroeg

Je hebt RAG nodig als

• het om honderden of duizenden documenten gaat, verspreid over SharePoint, Google Drive, een wiki of het dossiersysteem
• de documenten elke week veranderen en je niet wilt dat iemand ze steeds opnieuw uploadt
• niet iedereen alles mag zien, zoals bij HR-dossiers, contracten en salarisgegevens
• klanten zelf vragen stellen, of het antwoord in een ander systeem moet landen, zoals je helpdesk
• je wilt meten hoe goed de antwoorden zijn en wilt terugzien wat er gevraagd is

En soms is RAG het verkeerde antwoord

RAG is goed in vragen waarvan het antwoord in een tekst staat. 'Wat is onze garantietermijn op pompen?' Maar 'waar is order 4471?' staat niet in een document. Dat staat in je ERP. Daarvoor heb je een koppeling nodig, geen documentzoeker. Een AI-agent kan allebei: hij zoekt het beleid op én de order. Rekenvragen, zoals 'hoeveel hebben we in maart omgezet?', horen ook niet in RAG. Die horen in een rapport of een koppeling met je data.

Omdat je dan kunt controleren of het klopt. Een antwoord zonder bron moet je geloven. Een antwoord met bron kijk je in tien seconden na: klik, lees de passage, klopt. Dat is het verschil tussen een speeltje en iets waarmee je klanten te woord staat.

Drie redenen:

• Controle. De medewerker ziet in één oogopslag waar het antwoord vandaan komt. Is de bron een oud document, dan ziet hij dat meteen.
• Vertrouwen. Mensen gaan een AI-assistent pas echt gebruiken als ze erop durven te bouwen. Een bron helpt daar meer bij dan welke uitleg ook. Na een paar weken weten ze: als hij het zegt, staat het ergens.
• Minder verzinsels. Een model dat alleen uit de gevonden stukken mag antwoorden en de bron moet noemen, verzint minder. Helemaal weg is het risico niet. Daarom blijft er een mens in de lus.

Bronvermelding helpt ook bij het verbeteren. Geeft de assistent een fout antwoord bij de juiste bron, dan zit het probleem in de instructie of het model. Pakt hij de verkeerde bron, dan zit het probleem in het zoeken. Klopt de bron zelf niet, dan moet het document worden bijgewerkt. Zonder bron weet je niet eens waar je moet beginnen.

Bij alles wat naar een klant gaat, bouwen we het daarom zo: de AI zet het antwoord klaar, een medewerker controleert en verstuurt. Dat principe draait ook bij een enterprise-klant van ons. Daar heeft inmiddels 80 procent van de 6.000 klantvragen per maand een voorbereid antwoord voordat het ticket opengaat, tegen 30 procent eerst.

RAG gaat zelden mis op de techniek en bijna altijd op de documenten. Verouderde versies, slechte scans, rechten die niet kloppen en kennis die alleen in hoofden zit: dat zijn de klassiekers. Een RAG-systeem is precies zo goed als de kennis die je erin stopt.

Verouderde documenten

De prijslijst van 2024, de prijslijst van 2025 en 'prijslijst DEFINITIEF v3 (2)'. Een mens weet welke de goede is. De AI niet. Die vindt drie antwoorden en kiest er een, of erger: hij mengt ze. Ruim dus eerst op. Eén versie per document, een eigenaar per document en oude versies uit de bron. Saai werk, en het levert meer op dan het slimste model.

Slechte scans en lastige opmaak

Een scheef gescande pdf uit 2011, een tabel over drie pagina's, een handleiding die vooral uit plaatjes bestaat. Dat moet eerst goed worden uitgelezen (OCR) en netjes worden opgeknipt. Lukt dat niet, dan vindt de AI de informatie niet, of maar half. Test daarom altijd met vragen waarvan het antwoord in een tabel of een scan staat.

Rechten per gebruiker

Gooi je alle documenten op één hoop, dan kan iedereen alles vragen. Ook 'wat verdient mijn collega?', als het salarisoverzicht ertussen zat. De AI moet dezelfde rechten volgen als de bron: wie een document in SharePoint niet mag openen, krijgt het ook niet via de assistent te zien. Dat regel je bij de bouw, niet achteraf.

Kennis die nergens staat

'Vraag het even aan Piet.' Als het antwoord alleen in het hoofd van Piet zit, kan RAG het niet vinden. Een RAG-project begint daarom vaak met opschrijven wat nog nergens staat. Dat is meteen winst, ook als Piet op vakantie wil.

Niemand is eigenaar

Na de livegang verandert het beleid, komt er een product bij en verhuist er een map. Als niemand verantwoordelijk is voor de documenten, wordt de assistent elke maand een beetje slechter. Spreek af wie welke bron bijhoudt, en kijk elke maand naar de vragen waarop hij het antwoord niet wist.

Overal waar mensen de hele dag dingen opzoeken in documenten. De klantenservice die het retourbeleid erbij pakt, de binnendienst die in productbladen zoekt, de nieuwe collega die het personeelshandboek niet kan vinden.

• Klantenservice. Bij elke klantvraag zet de AI een antwoord klaar uit het retourbeleid, de voorwaarden en de productinformatie, met de bron erbij. De medewerker controleert en verstuurt. Meer op AI in de klantenservice.
• Interne helpdesk. 'Hoeveel vakantiedagen heb ik nog?' 'Hoe declareer ik reiskosten?' Vragen die HR en IT elke week opnieuw krijgen, beantwoord uit het personeelshandboek en de IT-wiki.
• Binnendienst en sales. Specificaties, toepassingen, eerdere offertes. De AI zoekt het op in productbladen, zodat de binnendienst niet steeds de technische collega hoeft te bellen.
• Technische dienst. Een monteur bij een storing vraagt wat foutcode E47 betekent op dit type machine. Het antwoord komt uit de handleiding, met het paginanummer erbij.
• Advies en juridisch. Zoeken in contracten, adviezen en dossiers: welke klanten hebben een afwijkende opzegtermijn? Hier zijn rechten per gebruiker extra belangrijk.

Wil je zo'n assistent op je website, zodat klanten zelf vragen stellen? Lees dan eerst wanneer een AI-chatbot werkt en wanneer niet.

RAG is geen product, maar een techniek: een manier om AI uit jullie eigen kennis te laten antwoorden. Een chatbot, een assistent en een agent kunnen die techniek allemaal gebruiken. Het verschil zit in wat ze daarna doen.

• Een chatbot met RAG beantwoordt vragen uit jullie documenten. Hij praat, maar doet niets in je systemen.
• Een assistent met RAG helpt een medewerker, bijvoorbeeld met een concept-antwoord en de bron erbij.
• Een agent met RAG zoekt het beleid op, kijkt in het ERP waar de order is, zet een retour klaar en legt dat voor aan een mens. Opzoeken is daar één van de gereedschappen.

In de praktijk begint het vaak met RAG en groeit het door naar een agent, zodra blijkt dat een antwoord alleen niet genoeg is: de klant wil ook dat er iets gebeurt. Hoe dat werkt, lees je in wat is een AI agent?

In de APO-methode is een RAG-toepassing op maat bouwlaag 4: maatwerk dat NinA bouwt, binnen het AI Partnership. We beginnen niet bij de techniek, maar bij de vragen. Welke vragen komen er binnen, hoe vaak, en hoe lang is iemand nu bezig met het antwoord zoeken?

Zo pakken we het aan:

1. 01Vragen verzamelen. Een set echte vragen van de afgelopen maanden, met het goede antwoord erbij. Dat wordt de testset.
2. 02Bronnen opruimen. Welke documenten zijn leidend, welke versies mogen weg, wie is eigenaar? Vaak het meeste werk, en het meeste waard.
3. 03Bouwen met rechten. Gekoppeld aan de bron, zoals SharePoint of Google Drive, met dezelfde rechten per gebruiker. De data blijft in de EU: op jullie eigen infrastructuur of bij een Europese aanbieder.
4. 04Testen op de testset. Pas als de antwoorden goed genoeg zijn, gaan de eerste gebruikers ermee aan de slag. Elke wijziging testen we opnieuw, ook een nieuw model.
5. 05Live, met een mens in de lus. De AI zet klaar, een medewerker controleert. We kijken mee naar de vragen waarop hij geen antwoord had.

Bouwen doen we alleen binnen het AI Partnership, vanaf € 4.500 per maand, omdat een RAG-toepassing onderhoud nodig heeft: documenten veranderen, modellen ook. Het partnership start met de AI Quick Scan van € 6.000, waarin we uitrekenen of het loont. Wat live staat, draait daarna onder een onderhoudscontract vanaf € 245 per maand, inclusief AI-verbruik. Alle bedragen exclusief btw. Code, data en documentatie zijn van jullie.

En blijkt een Claude Project voor jullie genoeg, dan zeggen we dat ook.