Een directeur van een accountantskantoor heeft vorig jaar voor iedereen Copilot-licenties gekocht. In de managementvergadering vraagt een partner of dat iets heeft opgeleverd. IT weet hoeveel licenties zijn toegewezen. Niemand weet hoeveel mensen ermee werken, of ze ook nog iets anders gebruiken en of het werk er sneller van is geworden.
Die vraag is legitiem, en het grootste deel ervan is te beantwoorden zonder één medewerker te volgen. Meet het aandeel van de organisatie dat AI gebruikt, hoe vaak, met welke tools, welk deel van dat gebruik via toegestane tools loopt, hoe dat verandert en waarvoor AI wordt ingezet. Laat het aantal prompts als hoofdcijfer liggen. En meet het allemaal per tool en per dag, nooit per persoon.
Waarom wil een organisatie dit weten?
Twee redenen, die vaak door elkaar lopen.
De eerste is de waarde. Er is geld uitgegeven aan licenties en aan training, en iemand wil weten of AI het werk verandert of alleen op de begroting staat. Dat is een gewone investeringsvraag. Wat AI oplevert of bespaart, meet een telling van gebruik niet; wel of het wordt gebruikt, door hoeveel mensen en waarvoor. Dat helpt ook om te kiezen waar de volgende training heen moet.
De tweede is het risico. Als de helft van de organisatie AI gebruikt, gaat er ook klantinformatie door die tools, en dan wil de privacyfunctionaris weten welke tools dat zijn en of daar iets over is besloten. Dat is de kant die op de onderwerppagina AI-governance verder is uitgewerkt.
De twee vragen hebben één eigenschap gemeen: geen van beide heeft een naam nodig. "Hoeveel mensen gebruiken AI" en "welk deel loopt via toegestane tools" zijn vragen over de organisatie. Dat maakt de rest van dit artikel mogelijk.
Welke cijfers zeggen iets?
Niet alles wat te tellen valt, is het tellen waard. Deze wel.
Het aandeel medewerkers dat AI gebruikt. Afgezet tegen het aantal werkplekken of licenties. Dit is het cijfer dat de partner in de managementvergadering wil zien, en het is ook het eerlijkste: veertig procent gebruik na een jaar Copilot betekent dat de licenties voor de andere zestig procent een vraag oproepen.
Hoe vaak: dagelijks, wekelijks of af en toe. Iemand die AI elke dag gebruikt, heeft het in zijn werk ingebouwd. Iemand die het één keer per maand gebruikt, is nog aan het uitproberen. De verdeling over die drie groepen zegt meer over de stand van zaken dan het totaal.
Welke tools, en hoe het gebruik erover is verdeeld. Eén tool die alles draagt is een ander beeld dan tien tools met elk een klein aandeel. Het tweede beeld betekent meestal dat de organisatie nog geen voorkeursroute heeft aangewezen, of dat de aangewezen route niet doet wat mensen nodig hebben.
Het aandeel van het gebruik via toegestane tools. Dit is het cijfer dat beleid en praktijk aan elkaar knoopt. Stijgt het, dan werken de besluiten en de communicatie erover. Daalt het terwijl het totale gebruik stijgt, dan groeit het gebruik buiten het beleid om.
De ontwikkeling in de tijd. Elk van de cijfers hierboven is een momentopname. Pas de richting vertelt iets. Een aandeel via toegestane tools van zeventig procent is goed nieuws als het vorig kwartaal vijftig was, en een waarschuwing als het negentig was.
Waarvoor AI wordt ingezet. Communicatie opstellen, samenvatten, vertalen, coderen, analyseren: die verdeling zegt waar AI in het werk zit, en dus waar training en afspraken het meest opleveren. Als de helft van het gebruik vertalen is, is een afspraak over klantnamen in vertaaltools urgenter dan een cursus prompten.
| Cijfer | Welke vraag het beantwoordt | Wat het niet zegt |
|---|---|---|
| Aandeel medewerkers dat AI gebruikt | Is het gebruik breed of bij een paar mensen? | Hoe intensief |
| Dagelijks, wekelijks, af en toe | Zit het in het werk of wordt het nog uitgeprobeerd? | Met welke tool |
| Verdeling over tools | Is er een voorkeursroute, en wordt die gebruikt? | Of die tools zijn toegestaan |
| Aandeel via toegestane tools | Volgt de praktijk het beleid? | Waarom wel of niet |
| Ontwikkeling in de tijd | Werkt wat we doen? | Wat de oorzaak is |
| Gebruikscategorieën | Waar zit AI in het werk? | Wat er precies is gevraagd |
| Aantal prompts | Hoe druk het is | Bijna alles hierboven |
Waarom zegt het aantal prompts zo weinig?
Omdat het de verdeling verbergt. Eén analist die tweehonderd prompts per week stuurt en tien collega's die niets doen, leveren samen hetzelfde totaal op als tweehonderd collega's met elk één prompt. De eerste organisatie heeft een enthousiasteling, de tweede heeft AI in het werk zitten. Aan het volume zie je dat verschil niet.
Prompts over de tijd zijn wel bruikbaar, als trend. Een verdubbeling in een kwartaal is een reden om te kijken welke tools daarvoor zorgen. Maar als hoofdcijfer op een bestuursslide zegt het vooral dat het druk is.
Hoe ziet dat eruit in de praktijk?
Terug naar het accountantskantoor. Na een kwartaal meten komt dit beeld naar voren: ruim de helft van de werkplekken opent minstens wekelijks een AI-tool. Copilot is de grootste, maar niet de enige: ChatGPT, een vertaaltool en een tool die jaarrekeningen samenvat worden ook geregeld geopend. Over de samenvattool is nooit een besluit genomen, omdat niemand wist dat hij bestond. Het aandeel via toegestane tools ligt rond de zestig procent.
Niets hierin is een incident. Het is het gewone beeld van een organisatie waar mensen hun werk makkelijker maken en het beleid nog niet is bijgetrokken. Wat de directie ermee doet: over de samenvattool besluiten, want die krijgt cijfers van klanten te zien; de vertaaltool bekijken; en de zestig procent als nulmeting nemen. Als de partner over een half jaar dezelfde vraag stelt, is er een antwoord met een richting erin.
Hoe meet je dit zonder gebruikers-id?
Het verschil tussen meten en volgen zit niet in het dashboard maar in wat er wordt vastgelegd. Een waarneming zonder gebruikers-id ziet er zo uit: op dit apparaat is vandaag dit domein geopend. Daarmee kun je tellen hoeveel tools er zijn, hoe vaak ze worden geopend en hoe dat verschuift. Wat je er niet mee kunt: iemand aanspreken. Dat is geen gebrek, maar zo bedoeld.
Frequentie kan op het apparaat zelf worden bepaald. Het apparaat weet of er deze maand dagelijks, wekelijks of af en toe een AI-tool is geopend, en meldt alleen de categorie als een anonieme telling. De organisatie ziet "drie mensen gebruiken AI dagelijks", nooit wie.
Zo doet BeeSensible het. De extensie merkt het op als iemand een AI-tool opent en meldt alleen het domein, hooguit één keer per dag per apparaat, zonder gebruikers-id, zonder pad en zonder pagina-inhoud. Op basis daarvan toont het scherm Gebruik het aandeel van de werkplekken dat AI gebruikt, de verdeling dagelijks, wekelijks en af en toe, de tools en waarvoor AI wordt ingezet, in zeven gebruikscategorieën. Voor dat laatste wordt in de cloudmodus alleen de eerste prompt van een gesprek ingedeeld, waarna de tekst wordt gewist en alleen de categorie telt. Het scherm Naleving toont het aandeel van het gebruik via toegestane tools, met de trend. Nergens in het dashboard bestaat een uitsplitsing per medewerker.
