Een privacyfunctionaris bij een verzekeraar krijgt van de accountant de vraag of het AI-beleid wordt nageleefd. Ze heeft het beleid, de leesbevestigingen (87 procent klikte op "gelezen en begrepen") en de presentielijst van de training. Wat ze niet heeft: enig idee of er vanmiddag iemand een schadedossier in een chatbot plakt.
Of een AI-beleid wordt gevolgd, lees je niet af aan het document maar aan drie cijfers over de praktijk. Welk aandeel van het AI-gebruik loopt via toegestane tools, en welke kant gaat dat op? Wat gebeurt er nadat iemand een melding zag bij een tool die niet is toegestaan? En hoeveel tools die echt worden gebruikt, hebben nog geen besluit, en groeit dat aantal? Alle drie zijn te meten zonder personen te volgen, en bij een slechte uitkomst stellen alle drie een vraag aan het beleid, niet aan de medewerker.
Waarom zegt "gelezen en begrepen" zo weinig?
Omdat het meet wat iemand wist op de dag van de mail. Of het beleid wordt gevolgd, blijkt op een andere dag: de dag van de deadline, als een collega snel een samenvatting nodig heeft en het tabblad met de chatbot al openstaat. Een AI-beleid op papier beschrijft wat zou moeten gebeuren; het meldt zich niet op het moment dat het ertoe doet.
De AVG eist in artikel 5 lid 2 dat een organisatie kan aantonen dat ze de beginselen naleeft. Een document en een handtekening tonen aan dat er beleid is. Om te laten zien dat het ook wordt toegepast, moet je de praktijk waarnemen. Daar zijn drie cijfers voor, en geen ervan heeft een naam nodig.
Welke drie cijfers laten het zien?
Het aandeel van het AI-gebruik via toegestane tools. Van alle keren dat iemand in de organisatie een AI-tool opent: hoe vaak is dat een tool met de status toegestaan of beperkt toegestaan? Dit is het cijfer dat beleid en praktijk aan elkaar knoopt. De richting telt zwaarder dan de stand: 70 procent is goed nieuws als het vorig kwartaal 55 was, en een waarschuwing als het 85 was.
Meldingen en wat erna gebeurde. Opent iemand een tool die niet is toegestaan en verschijnt daar het besluit, dan loopt dat op twee manieren af: "alternatief geopend" of "toch doorgegaan". De verhouding tussen die twee zegt of het aangewezen alternatief ook echt een alternatief is. Kiest bijna niemand het alternatief, dan is het besluit misschien juist, maar de route niet.
Tools zonder besluit die steeds vaker worden gebruikt. Elke organisatie heeft tools waarover nog niets is besloten. Dat is een eerlijke status. Het wordt een waarschuwing als zo'n tool elke maand vaker wordt geopend: dan zit er een gat in het beleid, precies waar het werk gebeurt.
| Cijfer | Wat het zegt | Wat het niet zegt | Bij een tegenvaller kijk je naar |
|---|---|---|---|
| Aandeel via toegestane tools | Of de praktijk het beleid volgt | Waarom wel of niet | Via welke tools het gebruik buiten het beleid loopt |
| Afloop na een melding | Of het alternatief wordt gekozen | Wat iemand daarna deed | Of het alternatief de taak aankan |
| Groeiend gebruik van tools zonder besluit | Waar het beleid achterloopt | Of de tool een risico is | Het besluit dat nog genomen moet worden |
Wat hier ontbreekt, is het aantal prompts. Dat zegt hoe druk het is, niet of het beleid wordt gevolgd. Welke cijfers over AI-gebruik verder de moeite waard zijn, staat in AI-gebruik meten.
En de afspraak over gevoelige gegevens?
De meeste beleidsstukken hebben twee soorten regels: welke tools, en welke gegevens. De drie cijfers hierboven gaan over de eerste soort. De tweede soort, "geen klantgegevens in een prompt", vraagt een andere waarneming: hoe vaak krijgt een gevoelig gegeven een markering terwijl iemand typt, en wat gebeurt er daarna? Aangepast vóór verzenden, of toch verstuurd?
Ook dat is een telling zonder personen: per app, per gegevenstype, met de afloop. Zo ziet dat eruit, met het verloop in de tijd en het aandeel dat vóór verzenden werd aangepast.
