Een privacyfunctionaris bij een verzekeraar krijgt van de accountant de vraag of het AI-beleid wordt nageleefd. Ze heeft het beleid, de kennisnemingen (87 procent heeft op "gelezen en begrepen" geklikt) en de presentielijst van de training. Wat ze niet heeft: enig idee of er vanmiddag iemand een schadedossier in een chatbot plakt.
Of een AI-beleid wordt gevolgd lees je niet af aan het document, maar aan drie cijfers over de praktijk. Welk aandeel van het AI-gebruik loopt via toegestane tools, en welke kant beweegt dat op. Wat gebeurt er nadat iemand een melding zag bij een tool die niet is toegestaan. En hoeveel tools met echt gebruik hebben nog geen besluit, en groeit dat aantal. Alle drie zijn te meten zonder personen te volgen, en alle drie stellen bij een slechte uitkomst een vraag aan het beleid, niet aan de medewerker.
Waarom zegt "gelezen en begrepen" zo weinig?
Omdat het meet wat iemand wist op de dag van de mail. Het beleid wordt gevolgd of genegeerd op een andere dag: de dag van de deadline, als een collega snel een samenvatting nodig heeft en het tabblad met de chatbot al openstaat. Een AI-beleid op papier beschrijft wat zou moeten gebeuren; het meldt zich niet op het moment dat het ertoe doet.
De AVG vraagt in artikel 5 lid 2 dat een organisatie kan aantonen dat ze de beginselen naleeft. Een document en een handtekening tonen aan dat er beleid is. Of het wordt toegepast, vraagt een waarneming van de praktijk. Daar zijn drie cijfers voor die geen naam nodig hebben.
Welke drie cijfers laten het zien?
Het aandeel van het AI-gebruik via toegestane tools. Van alle keren dat in de organisatie een AI-tool wordt geopend, welk deel is een tool met de status toegestaan of beperkt toegestaan. Dit is het cijfer dat beleid en praktijk aan elkaar knoopt. De richting telt zwaarder dan de stand: 70 procent is goed nieuws als het vorig kwartaal 55 was, en een signaal als het 85 was.
Meldingen en wat erna gebeurde. Opent iemand een tool die niet is toegestaan en verschijnt daar het besluit, dan zijn er twee aflopen: het alternatief geopend, of toch doorgegaan. De verhouding tussen die twee zegt of het aangewezen alternatief ook echt een alternatief is. Kiest bijna niemand het alternatief, dan is het besluit misschien juist, maar de route niet.
Tools zonder besluit die groeien. Elke organisatie heeft tools waarover nog niets is besloten. Dat is een eerlijke status. Het wordt een signaal als zo'n tool elke maand vaker wordt geopend: dan heeft het beleid een gat op een plek waar het werk zit.
| Cijfer | Wat het zegt | Wat het niet zegt | Bij een tegenvaller kijk je naar |
|---|---|---|---|
| Aandeel via toegestane tools | Of de praktijk het beleid volgt | Waarom wel of niet | Welke tools het gebruik buiten het beleid dragen |
| Afloop na een melding | Of het alternatief wordt gekozen | Wat iemand daarna deed | Of het alternatief de taak aankan |
| Groeiende tools zonder besluit | Waar het beleid achterloopt | Of de tool een risico is | Het besluit dat nog genomen moet worden |
Wat hier ontbreekt is het aantal prompts. Het zegt hoe druk het is, niet of het beleid wordt gevolgd. Welke cijfers over AI-gebruik verder de moeite waard zijn, staat in AI-gebruik meten.
En de afspraak over gevoelige gegevens?
De meeste beleidsstukken hebben twee soorten regels: welke tools, en welke gegevens. De drie cijfers hierboven gaan over de eerste soort. De tweede soort, "geen klantgegevens in een prompt", vraagt een andere waarneming: hoe vaak krijgt een gevoelig gegeven een markering terwijl iemand typt, en wat gebeurt er daarna. Aangepast voor verzenden, of toch verstuurd.
Ook dat is een telling zonder personen: per app, per gegevenstype, met de afloop. Zo ziet dat eruit, met de trend over de tijd en het aandeel dat vóór verzenden werd aangepast.
