Een bestuursvergadering van een woningcorporatie. Op de slide van IT staat één getal, groot: 12.400 prompts dit kwartaal, een verdubbeling. Een bestuurder vraagt of dat goed nieuws is. Het wordt stil, want niemand weet of die 12.400 van tweehonderd collega's komen of van vijf.
Dat is het probleem met de meeste KPI's voor AI-gebruik: ze tellen iets, maar beantwoorden geen vraag. Een bruikbare KPI meet de organisatie, niet de persoon, en laat zien welke kant het op gaat. Acht cijfers doen dat werk, en het aantal prompts hoort daar niet bij.
Wat maakt een cijfer een KPI voor AI-gebruik?
Drie eisen. Het cijfer beantwoordt een vraag die het bestuur echt heeft: gebruiken we het, loopt het via de afgesproken route, werken onze afspraken. Het heeft een richting, want een momentopname zegt weinig en een trend zegt veel. En het gaat over de organisatie, zodat er geen individu in terug te vinden is en de meting geen toezicht wordt.
Die derde eis is geen beperking achteraf maar een ontwerpkeuze vooraf. De AVG vraagt een vooraf omschreven doel, en "weten of ons AI-gebruik via toegestane tools loopt" is zo'n doel. "Weten wie ChatGPT opent" is een ander doel, met andere eisen en een ondernemingsraad die instemmingsrecht heeft. Welke cijfers er überhaupt zijn, en hoe de meting zonder personen werkt, staat uitgewerkt in ons artikel over AI-gebruik meten. Dit stuk zet ze als KPI's naast elkaar.
Welke acht KPI's zeggen iets?
| KPI | Wat hij zegt | Wat hij niet zegt | Zonder gebruikers-id? |
|---|---|---|---|
| Aandeel werkplekken dat AI gebruikt | Is het gebruik breed of bij een paar mensen | Hoe intensief, met welke tool | Ja, per apparaat geteld |
| Dagelijks, wekelijks, af en toe | Zit AI in het werk of wordt het nog uitgeprobeerd | Welke taak | Ja, de categorie wordt op het apparaat bepaald |
| Tools in gebruik, en hoeveel zonder besluit | Hoe groot de werkvoorraad van het beleid is | Of die tools risico opleveren | Ja, alleen het domein |
| Aandeel via toegestane tools, met trend | Volgt de praktijk het beleid | Waarom wel of niet | Ja |
| Bezoeken aan niet-toegestane tools | Of een besluit in de praktijk werkt | Wat daar is ingevoerd | Ja, hooguit één telling per apparaat per dag |
| Uitkomst na een melding | Of het alternatief goed genoeg is | Wie doorging | Ja, geteld per uitkomst |
| Gebruikscategorieën | Waar AI in het werk zit | Wat er precies is gevraagd | Ja, alleen de categorie telt |
| Aandeel markeringen dat is afgehandeld | Of mensen op het moment zelf bijsturen | Wat er stond | Ja, zonder inhoud |
De eerste twee beantwoorden de investeringsvraag: is er iets gebeurd met de licenties en de training. De middelste vier beantwoorden de beleidsvraag: weten we welke tools er worden gebruikt, is erover besloten en volgt de praktijk dat besluit? De laatste twee gaan over het gedrag op het moment zelf, en daar wordt het effect van training en afspraken als eerste zichtbaar.
Waarom zegt promptvolume zo weinig?
Terug naar de 12.400. Eén analist die tweehonderd prompts per week stuurt en tien collega's die niets doen, leveren hetzelfde kwartaaltotaal op als tweehonderd collega's met één prompt per week. De eerste corporatie heeft een enthousiasteling, de tweede heeft AI in het werk zitten. Aan het volume zie je dat verschil niet, en juist dat wilde de bestuurder weten.
Er zit nog een tweede probleem in. Promptvolume beloont het verkeerde. Wie het als hoofdcijfer op de slide zet, krijgt een organisatie die meer prompts stuurt, niet een organisatie die verstandiger met AI werkt. Het aandeel via toegestane tools beloont wel het juiste: mensen die de afgesproken route nemen. Houd het promptvolume als trend in de bijlage, en haal het van de slide.
Hoe ziet dat eruit in een bestuursverslag?
De woningcorporatie verving de slide een kwartaal later. Ruim de helft van de werkplekken opent minstens wekelijks een AI-tool. Elf tools zijn in gebruik; over drie daarvan was nog geen besluit, waaronder een tool die huurdersbrieven herschrijft. Het aandeel via toegestane tools staat op 64 procent, tegen 58 het kwartaal ervoor. Na een melding kiest twee derde het alternatief.
Geen van die cijfers is een incident. Samen laten ze zien wat er gebeurt: het gebruik groeit, het beleid trekt bij en er moeten drie besluiten worden genomen, waarvan één met spoed, omdat die tool persoonsgegevens van huurders te zien krijgt. Dat is een bestuursgesprek van tien minuten, met een richting erin.
De laatste KPI uit de tabel komt van een andere laag: niet welke tools worden geopend, maar wat er op het moment van typen met gevoelige gegevens gebeurt. Zo ziet die laag eruit, in aantallen en zonder dat er een naam aan vastzit:
