Een organisatie zet een AI-assistent aan die het intranet kan doorzoeken. De bedoeling is simpel: medewerkers moeten vragen kunnen stellen over vakantieregelingen en procedures zonder in mappen te graven. Twee weken later vraagt iemand naar het salarisbeleid, en krijgt daarbij een passage uit een document dat drie jaar geleden per ongeluk voor de hele organisatie is opengezet.
De assistent heeft niets gedaan wat hij niet mocht. Dat is precies het punt.
Wat RAG is
RAG staat voor retrieval-augmented generation. In gewoon Nederlands: eerst zoeken, dan antwoorden.
Het werkt in vier stappen:
- Indexeren. Je documenten worden in stukken geknipt en omgezet naar een vorm waarin je op betekenis kunt zoeken in plaats van op exacte woorden. Dat gebeurt één keer per document, meestal in een vectordatabase.
- Zoeken. Als iemand een vraag stelt, wordt die vraag op dezelfde manier omgezet en worden de best passende stukken opgehaald.
- Samenvoegen. Die stukken worden bij de vraag geplakt, samen met de instructie om het antwoord daarop te baseren.
- Antwoorden. Het model genereert het antwoord, meestal met een verwijzing naar het brondocument.
Het belangrijkste wat hier níet gebeurt: het model wordt niet getraind. Het krijgt de tekst per vraag aangeleverd en vergeet hem daarna weer, zoals bij elke andere prompt.
Wat het oplost
Twee problemen tegelijk, en dat verklaart waarom vrijwel elke leverancier dit inmiddels aanbiedt.
Verouderde kennis. Een model weet niets van na zijn trainingsdatum en niets van jouw organisatie. Met RAG hoeft dat ook niet: de kennis komt uit de bron, die je zelf actueel houdt.
Verzinsels. Omdat er echte tekst bij de vraag zit, is er iets om naar te wijzen. Dat beperkt het probleem uit waarom AI dingen verzint aanzienlijk, al verdwijnt het niet: het model kan de opgehaalde tekst nog steeds verkeerd samenvatten of een verband leggen dat er niet staat.
En één praktisch voordeel dat vaak vergeten wordt: je kunt een document uit de index halen. Dan komt het niet meer in antwoorden voor. Bij een model dat op je data is getraind, kan dat niet zomaar.
Waar het risico naartoe verschuift
Zonder RAG is de vraag: wat typt een medewerker in? Dat is een gedragsvraag, met een moment en een persoon.
Met RAG is de vraag: waar mag de assistent bij? Dat is een autorisatievraag, en die is al beantwoord door de rechten die in de loop der jaren op mappen en sites zijn gezet.
Die twee vragen liggen bij verschillende mensen en vragen ander werk. De tweede is ook de vervelendste, want het antwoord is meestal: dat weten we niet precies.
Te ruime rechten worden vindbaar. Een map die "iedereen binnen de organisatie" mag lezen, was in de praktijk beschermd doordat niemand wist dat hij bestond. Zoeken kostte moeite. Een assistent zoekt wel overal, in één keer, en vat het samen. Dat is dezelfde beweging als bij Microsoft Copilot en SharePoint, en het is niet iets dat de assistent stukmaakt: hij maakt het zichtbaar.
De index veroudert anders. Een document dat je verwijdert, staat mogelijk nog in de index tot de volgende indexering. Een document dat je aanpast, kan als oude versie in antwoorden blijven opduiken. Dat is een nieuwe categorie in je bewaarbeleid.
De opgehaalde tekst gaat naar de leverancier. Dit wordt in beoordelingen vaak overgeslagen. De stukken die uit je eigen documenten komen, worden bij de prompt gevoegd en dus naar het model gestuurd. Alles wat geldt voor gewone prompts (opslag, bewaartermijn, mogelijkheid tot menselijke beoordeling) geldt daarmee ook voor die passages.
Vijf vragen voordat je het aanzet
- Welke bronnen zitten in de index? Niet "welke wilden we", maar welke er feitelijk in staan.
- Met wiens rechten wordt er gezocht? Meestal die van de gebruiker. Soms die van een dienstaccount, en dan is het antwoord voor iedereen hetzelfde, ongeacht wat iemand mocht zien.
- Kloppen die rechten nog? Dit is het echte werk en het staat los van AI. Het is ook de reden waarom Microsoft de aanpak van te ruime rechten als eerste stap in zijn eigen uitrolhandleiding zet.
- Hoe gaat een document er weer uit? Op verzoek, automatisch, of pas bij de volgende volledige indexering?
- Wat gebeurt er met de opgehaalde tekst bij de leverancier? Zelfde vraag als bij elke prompt.
Wat dit bij elkaar betekent: RAG verplaatst het gesprek van de medewerker naar de inrichting. Dat is grotendeels goed nieuws, want inrichting kun je één keer goed doen. Maar het haalt de medewerker er niet uit. Wie in een chatvenster met de assistent praat, plakt daar nog steeds klantgegevens bij die niet uit de index komen maar uit een mail van vanmorgen.
