De financieel directeur van een provincie loopt even binnen bij de beheerder. Vorig jaar zijn zeshonderd Copilot-licenties gekocht; hoeveel worden er gebruikt? De beheerder opent het beheercentrum en heeft binnen een minuut een getal: in de afgelopen dertig dagen heeft ruim een derde van de gebruikers met een licentie Copilot in minstens één app gebruikt. De tweede vraag komt meteen: en wat doet de rest?
Die tweede vraag kan het rapport niet beantwoorden. Copilot-gebruik meet je daarom in twee lagen: wat Microsoft laat zien over de licenties, en hoe er in de organisatie AI wordt gebruikt, met Copilot als een van de tools. De eerste laag heb je al. De tweede moet je zelf inrichten, en dat kan zonder ook maar één persoon te volgen.
Wat laat het Microsoft 365-beheercentrum zien?
Het beheercentrum heeft gebruiksrapporten voor Microsoft 365 Copilot. Die tonen per periode hoeveel gebruikers een licentie hebben, hoeveel daarvan Copilot hebben gebruikt, en in welke apps dat gebeurde: Teams, Word, Excel, PowerPoint, Outlook en Copilot Chat. Er is een detailweergave per gebruiker met de laatste activiteit per app; of daar namen staan of afgeschermde waarden, hangt af van een instelling in het beheercentrum. Microsoft past de indeling van deze rapporten geregeld aan, dus welke kolommen je precies ziet, kan verschuiven.
Voor drie vragen is dat genoeg. Hoeveel van de licenties zijn in een periode gebruikt, en wat kost het deel dat niet is gebruikt? In welke apps wordt het gebruikt, en is Copilot in Teams wel aangeslagen maar in Excel niet? En groeit het gebruik na een training, of zakt het daarna weer terug? Dat zijn licentievragen, en daar is het rapport goed in.
Wat laat het niet zien?
Alles wat niet Copilot is. Het rapport gaat over één dienst in de eigen tenant, en kan per definitie niets zeggen over ChatGPT, Perplexity, Gamma of de transcriptietool die een afdeling zelf heeft gevonden. Ook de consumentenversie van Copilot, geopend zonder werkaccount, valt erbuiten, want die hoort niet bij de tenant.
Daar komt bij dat "actief" alleen zegt dat iemand Copilot in de periode heeft gebruikt. Niet waarvoor, niet of het hielp, en niet of diezelfde persoon een uur later voor hetzelfde werk een andere tool opende. Dat twee derde van de licentiehouders bij de provincie Copilot niet gebruikte, betekent dus niet dat zij geen AI gebruikten. Het rapport weet dat gewoon niet.
| Vraag | Gebruiksrapport van Microsoft | Meting van al het AI-gebruik |
|---|---|---|
| Hoeveel licenties zijn gebruikt? | Ja | Nee |
| In welke Microsoft-app? | Ja | Nee, alleen het domein |
| Welke AI-tools zijn er naast Copilot in gebruik? | Nee | Ja |
| Wordt de consumentenversie van Copilot gebruikt? | Nee | Ja, als aparte regel |
| Welk aandeel van het AI-gebruik loopt via toegestane tools? | Nee | Ja |
| Wie was het? | Per gebruiker, tenzij afgeschermd | Nooit |
Waarom zijn een ongebruikte licentie en een onbekende tool hetzelfde probleem?
Terug naar de provincie. Leg je de meting naast het rapport, dan blijkt dat ChatGPT in de browser op meer apparaten wordt geopend dan Copilot, dat Perplexity bij de juristen dagelijks openstaat, en dat een transcriptietool voor vergaderingen in gebruik is waarover nooit iets is besloten. Van de ruim zestig procent die Copilot niet gebruikt, blijkt een flink deel wel AI te gebruiken, alleen ergens anders.
Dat is één bevinding, van twee kanten bekeken. Wie naar de licenties kijkt, ziet onderbenutting. Wie naar de tools kijkt, ziet gebruik zonder besluit. Allebei laten ze zien dat mensen in de praktijk een andere route nemen dan de voorkeursroute. Waarom ze naast Copilot andere tools kiezen, is de vraag die daarna komt. Nog een trainingsronde over Copilot lost dat niet op als Perplexity voor de juristen iets doet wat Copilot niet doet.
Hoe leg je de twee naast elkaar zonder personen te volgen?
Met drie afspraken die je vooraf maakt. De eerste: de meting van AI-gebruik telt per tool en per dag, zonder gebruikers-id. "Dit domein is vandaag op dit apparaat geopend" is genoeg om te weten hoeveel tools er zijn en hoe het gebruik verschuift, en te weinig om iemand aan te wijzen. Welke cijfers je dan overhoudt, en welke je kunt laten liggen, lees je in ons artikel over AI-gebruik meten.
De tweede: het Microsoft-rapport gebruik je op organisatieniveau, met afgeschermde namen. De licentievraag heeft geen namen nodig, en een overzicht per persoon van wie Copilot wanneer gebruikte, valt al snel onder medewerkersmonitoring, met eisen aan doel en noodzaak en een rol voor de ondernemingsraad. Het verschil tussen die twee soorten meting lees je in AI-monitoring versus medewerkersmonitoring.
De derde: zet het doel op papier voordat je meet. "Weten of de Copilot-licenties worden benut en of Copilot de voorkeursroute voor AI-gebruik is geworden" is een doel waar de cijfers bij passen. "Zien wie het beleid niet volgt" is dat niet, en dat kunnen de cijfers ook niet.
BeeSensible levert de tweede laag. De extensie merkt op wanneer iemand een AI-tool opent en geeft alleen het domein door, hooguit één keer per dag per apparaat, zonder gebruikers-id en zonder inhoud. Copilot staat daar als gewone regel tussen, en de consumentenversie en Microsoft 365 Copilot zijn in de catalogus aparte vermeldingen, elk met een eigen risicoscore. Het scherm Naleving toont welk aandeel van het AI-gebruik via toegestane tools loopt, hoe dat zich ontwikkelt en welke tools nog geen besluit hebben. Een uitsplitsing per medewerker zit nergens in het dashboard. Wat de module verder doet, lees je op de productpagina.
