Een organisatie zet een AI-assistent aan die het intranet kan doorzoeken. De bedoeling is simpel: medewerkers moeten vragen kunnen stellen over vakantieregelingen en procedures zonder in mappen te graven. Dat werkt meteen; vragen die eerst bij HR binnenkwamen, zijn nu in een halve minuut beantwoord, met een link naar de regeling. Twee weken later vraagt iemand naar het salarisbeleid en krijgt hij een passage uit een document dat drie jaar geleden per ongeluk voor de hele organisatie is opengezet.
De assistent deed precies wat hij moest doen: zoeken in alles waar de vrager bij kon. Daarmee maakte hij zichtbaar wat al drie jaar te ruim openstond. Dat zegt veel over hoe RAG werkt, en over wat je regelt voordat je het aanzet.
Hoe werkt RAG?
RAG staat voor retrieval-augmented generation. In gewoon Nederlands: eerst zoeken, dan antwoorden.
Het werkt in vier stappen:
- Indexeren. Je documenten worden in stukken geknipt en omgezet naar een vorm waarin je op betekenis kunt zoeken in plaats van op exacte woorden. Dat gebeurt één keer per document, meestal in een vectordatabase.
- Zoeken. Als iemand een vraag stelt, wordt die vraag op dezelfde manier omgezet en worden de best passende stukken opgehaald.
- Samenvoegen. Die stukken worden bij de vraag geplakt, samen met de instructie om het antwoord daarop te baseren.
- Antwoorden. Het model genereert het antwoord, meestal met een verwijzing naar het brondocument.
Het belangrijkste wat hier níet gebeurt: het model wordt niet getraind. Het krijgt de tekst per vraag aangeleverd en vergeet hem daarna weer, zoals bij elke andere prompt.
Wat levert het op?
Het lost twee problemen tegelijk op, en dat verklaart waarom vrijwel elke leverancier dit inmiddels aanbiedt.
Verouderde kennis. Een model weet niets van na zijn trainingsdatum en niets van jouw organisatie. Met RAG hoeft dat ook niet: de kennis komt uit de bron, die je zelf actueel houdt.
Verzinsels. Omdat er echte tekst bij de vraag zit, is er iets om naar te wijzen. Dat maakt het probleem van verzonnen antwoorden aanzienlijk kleiner, al verdwijnt het niet: het model kan de opgehaalde tekst nog steeds verkeerd samenvatten of een verband leggen dat er niet staat.
En één praktisch voordeel dat vaak over het hoofd wordt gezien: je kunt een document uit de index halen. Dan komt het niet meer in antwoorden voor. Bij een model dat op je gegevens is getraind, kan dat niet zomaar.
Waar verschuift het risico naartoe?
Zonder RAG is de vraag: wat typt een medewerker in? Dat is een gedragsvraag, met een moment en een persoon.
Met RAG is de vraag: waar mag de assistent bij? Dat is een autorisatievraag, en die is al beantwoord door de rechten die in de loop der jaren op mappen en sites zijn gezet.
Die twee vragen liggen bij verschillende mensen en vergen ander werk. De tweede is ook de ongemakkelijkste, want het antwoord is meestal: dat weten we niet precies.
Te ruime rechten worden vindbaar. Een map die "iedereen binnen de organisatie" mag lezen, was in de praktijk beschermd doordat niemand wist dat hij bestond. Zoeken kostte moeite. Een assistent zoekt wel overal, in één keer, en vat het samen. Bij Microsoft Copilot en SharePoint gebeurt hetzelfde. De assistent maakt niets stuk: hij laat zien wat al stuk was.
De index loopt achter. Een document dat je verwijdert, staat mogelijk nog in de index tot de volgende indexering. Een document dat je aanpast, kan als oude versie in antwoorden blijven opduiken. Dat is een nieuwe categorie in je bewaarbeleid.
De opgehaalde tekst gaat naar de leverancier. Dit wordt in beoordelingen vaak overgeslagen. De stukken die uit je eigen documenten komen, worden bij de prompt gevoegd en dus naar het model gestuurd. Alles wat geldt voor gewone prompts (opslag, bewaartermijn, mogelijkheid tot menselijke beoordeling) geldt daarmee ook voor die passages.
Wat regel je voordat je het aanzet?
- Welke bronnen zitten in de index? Niet "welke wilden we", maar welke er feitelijk in staan.
- Met wiens rechten wordt er gezocht? Meestal die van de gebruiker. Soms die van een dienstaccount, en dan is het antwoord voor iedereen hetzelfde, ongeacht wat iemand mocht zien.
- Kloppen die rechten nog? Dit is het echte werk en het staat los van AI. Het is ook de reden waarom Microsoft de aanpak van te ruime rechten als eerste stap in zijn eigen uitrolhandleiding zet.
- Hoe gaat een document er weer uit? Op verzoek, automatisch of pas bij de volgende volledige indexering?
- Wat gebeurt er met de opgehaalde tekst bij de leverancier? Dezelfde vraag als bij elke prompt.
RAG verplaatst het gesprek van de medewerker naar de inrichting, en dat is goed nieuws: inrichting kun je één keer goed doen. Begin met een kleine, goed afgebakende bron, zoals het personeelshandboek of de procedures van één afdeling. Controleer de rechten op precies die bron, zet de assistent aan en breid pas uit als dat goed loopt. Houd daarbij in gedachten dat mensen in hetzelfde chatvenster ook zelf tekst toevoegen, bijvoorbeeld uit een mail van vanmorgen. Bij die tekst blijft het gewoon nodig om tijdens het werk op gevoelige gegevens te letten.
