Grip op AI
Blog
AI-governance 8 min leestijd

Welke gegevens heb je echt nodig om AI-gebruik te meten?

Een proxylog bevat elke URL, elke gebruiker en elk tijdstip. Om te weten welke AI-tools in gebruik zijn, heb je daar vier velden van nodig, en de gebruiker hoort daar niet bij.

Abstracte spiraal met datapunten in blauwgroen
Snel antwoord

Om AI-gebruik te meten heb je vier gegevens nodig: het domein van de dienst, de dag waarop hij is geopend, een telling en een categorie (waarvoor AI wordt gebruikt, of hoe vaak). Daarmee weet je welke tools in gebruik zijn, of daar een besluit over is genomen en of het gebruik verschuift naar toegestane tools. Wat je niet nodig hebt: een gebruikers-id, de inhoud van de prompt, het pad achter het domein en het tijdstip op de seconde. Die vier voegen niets toe aan de governancevraag en maken van een telling een registratie van personen. Dataminimalisatie beperkt de meting hier niet, maar bepaalt hoe je hem opzet.

01

Domein, dag, aantal en categorie beantwoorden de governancevraag volledig

02

Een gebruikers-id voegt niets toe aan de vraag welke tools in gebruik zijn

03

Het pad achter het domein en de inhoud van de prompt horen niet in een meting

04

Een tijdstip op de seconde maakt een telling in een kleine groep herleidbaar tot personen

05

Wat je niet vastlegt, hoef je ook niet te beveiligen, te bewaren of te verantwoorden

Een IT-beheerder bij een ingenieursbureau krijgt van de directie de vraag hoeveel AI er in huis wordt gebruikt. Hij heeft de proxylogs: elke URL, elke gebruiker, elk tijdstip, een jaar terug. Hij kan de vraag beantwoorden. Alleen doet hij dat met een bestand dat veel meer prijsgeeft dan waar iemand om vroeg.

Voor die vraag heb je vier velden nodig: het domein van de dienst, de dag, een telling en een categorie. De gebruiker hoort daar niet bij. Alles wat verder in de proxylog staat, is meer dan overbodig: het maakt er een ander soort meting van.

Welke vraag beantwoord je eigenlijk?

Stel eerst de vraag scherp, voordat je gegevens kiest. In de praktijk zijn het er drie. Welke AI-diensten worden in de organisatie geopend? Is daar een besluit over genomen? En verschuift het gebruik naar de tools die we hebben aangewezen, of juist ervan weg?

Alle drie gaan over diensten en over de organisatie als geheel. In geen van de drie komt een persoon voor. Dat is geen toeval van de formulering, maar precies de reden dat meten en volgen twee verschillende dingen zijn, zoals ons artikel over AI-monitoring versus medewerkersmonitoring uitlegt. Welke cijfers daaruit de moeite waard zijn voor een bestuur, staat in AI-gebruik meten.

Er is één vraag waarvoor je wel een persoon nodig hebt: wie deed dit, bij een concreet incident? Dat is een onderzoek, met een eigen procedure en een eigen grondslag. Houd het buiten de meting, anders gelden de eisen van dat onderzoek voortaan ook voor de meting.

Wat betekent dataminimalisatie bij een meting?

De AVG vraagt in artikel 5 lid 1 onder c dat persoonsgegevens toereikend, ter zake dienend en beperkt zijn tot wat noodzakelijk is voor het doel. Meestal wordt dat gelezen als een rem: verzamel minder. Bij een meting werkt het beter andersom. Begin bij het doel, bepaal welke velden je daarvoor nodig hebt en leg alleen die vast.

Dat heeft een prettig gevolg. Een meting die alleen domein, dag, aantal en categorie bevat, zegt niets over een persoon. Je hoeft hem niet te beveiligen als een personeelsdossier, niet kort te bewaren en niet te verantwoorden als gedragsregistratie. Wat je niet vastlegt, kan ook niet lekken of worden opgevraagd.

Welke gegevens heb je nodig, en welke niet?

GegevenNodig?Waarom
Registreerbaar domein van de dienstJaZegt welke tool het is en koppelt de waarneming aan een besluit in het register
Dag van de waarnemingJaLaat een trend zien: deze week, vorige maand, sinds een besluit
Aantal (telling)JaLaat zien hoe breed een tool wordt gebruikt en of dat groeit
Categorie: gebruiksdoel of frequentieklasseJa, als tellingLaat zien waar AI in het werk wordt ingezet en of het om uitproberen of routine gaat
Status van de tool in het registerJaKomt niet uit de meting maar uit het besluit; samen geven ze het aandeel via toegestane tools
Gebruikers-id of e-mailadresNeeVoegt niets toe aan de drie vragen en maakt van een telling een gedragsregistratie
Inhoud van de promptNeeZegt iets over de persoon en de klant, niets over de tool
Pad achter het domeinNeeBevat vaak een gespreks-id of een stuk van de vraag
Tijdstip op de secondeNeeEen dag volstaat voor de trend; seconden maken een kleine groep herleidbaar
AfdelingAlleen met een ondergrensHandig voor gerichte hulp, maar een afdeling van drie is zo goed als één persoon

Om de rechterkolom draait het. Bij elk veld dat je toevoegt, moet je kunnen zeggen welke van de drie governancevragen je er beter mee beantwoordt. Is het antwoord "geen", dan gaat het veld eruit.

Waarom is het pad erger dan het lijkt?

Het domein chatgpt.com zegt dat iemand ChatGPT opende. Het volledige adres bevat bij veel AI-tools ook een gespreks-id, en bij zoekgerichte tools soms de vraag zelf. Wie "alleen de URL" logt, logt daarmee welk gesprek iemand voerde, en soms waarover.

Dat is het verschil tussen een telling en een dossier, verpakt in één veld dat er onschuldig uitziet. Het registreerbare domein is genoeg om te weten of een dienst wordt gebruikt. De rest van het adres zegt iets over de persoon.

Hoe ziet dat eruit in de praktijk?

Het ingenieursbureau kiest voor de vier velden. Na een maand ziet het beeld er zo uit: Copilot is de meest geopende tool, maar niet de enige. ChatGPT en Perplexity komen dagelijks voor, en er staan drie gespecialiseerde tools tussen die niemand kende: een tool die tekeningen samenvat, een vertaaltool en een transcriptietool voor vergaderingen. Over twee daarvan is nog geen besluit genomen, simpelweg omdat ze in geen enkel overzicht stonden.

Niemand hoeft te weten wie ze opende. De tekeningentool verwerkt tekeningen van klanten, dus daar komt een besluit over. De transcriptietool verwerkt stemmen en namen, dus daar ook. De rest kan wachten. Over drie maanden kijkt de beheerder of het gebruik naar de aangewezen tools is verschoven. En dat allemaal zonder één naam in het bestand.

Het laat ook zien waarom een eenmalige inventarisatie snel achterloopt: de drie onbekende tools stonden in geen enkele vragenlijst, omdat niemand wist dat hij ernaar moest vragen.

Hoe past dit bij de manier waarop BeeSensible is gebouwd?

De extensie ziet wanneer iemand een AI-tool opent en geeft alleen het registreerbare domein door, hooguit één keer per dag per apparaat, zonder gebruikers-id, zonder pad en zonder pagina-inhoud. Hoe vaak iemand AI gebruikt (dagelijks, wekelijks, af en toe), wordt op het apparaat zelf bepaald en één keer per maand als anonieme telling per categorie doorgegeven. Om te zien waarvoor AI wordt gebruikt, deelt de cloudmodus alleen de eerste prompt van een gesprek in bij een van zeven categorieën. Daarna wordt de tekst weggegooid en telt alleen de categorie.

In het dashboard zie je dat terug als cijfers over de organisatie: welke tools, hoeveel, welk aandeel via toegestane tools en wat er gebeurde na een melding. Een uitsplitsing per medewerker staat er nergens in.

Detecties in de tijdAfgelopen 30 dagen
12.438+18% t.o.v. de vorige periode
Detecties per platform
ChatGPT
ChatGPT
78% aangepast
8.124
Gmail
81% aangepast
3.210
Gemini
74% aangepast
812
Gedetecteerde gegevenstypen
Naam
4.212
E-mailadres
2.930
BSN
1.486
IBAN
1.104
Diagnose
612
StandaardKritiek
Het BeeSensible-dashboard: detecties in totalen en waar ze het vaakst voorkomen, zonder individuele medewerkers te volgen.

Inzicht per afdeling staat standaard uit. Zet je het aan, dan zie je een afdeling pas vanaf vijf personen en zeven dagen; kleinere afdelingen worden samengevoegd onder "Overig". Dat is de ondergrens uit de tabel, ingebouwd in het product in plaats van vastgelegd in een afspraak. De volledige afweging, ook over wat geaggregeerde cijfers wel en niet kunnen beloven, staat in AI-governance zonder medewerkers te monitoren en op de onderwerppagina over AI-governance. Hoe het register van tools en besluiten eruitziet, zie je op de pagina over AI-tools.

Wat vraag je een leverancier, en wat controleer je in je eigen log?

Loop de tabel langs en stel per veld dezelfde vraag: wordt dit vastgelegd, en zo ja, waarvoor? Let vooral op drie antwoorden. Een gebruikers-id "voor ontdubbeling" is meestal overbodig, want ontdubbelen kan ook op het apparaat zelf. Een volledige URL "voor het gemak" is het probleem met het pad van hierboven. En een export "voor support" is de plek waar een telling alsnog per persoon leesbaar wordt.

Dezelfde vragen gelden voor je eigen proxylog. Die bevat waarschijnlijk alles uit de tabel, ook alles waar "Nee" bij staat. Dat is geen reden om hem weg te gooien. Het is wel een reden om hem niet in te zetten als meting van AI-gebruik, en die meting apart in te richten met de vier velden die je echt nodig hebt.

Pak voor je volgende meting de tabel erbij en streep alles door wat geen van de drie vragen beantwoordt. Wat overblijft is genoeg voor de directie, en het is het eerste wat je de ondernemingsraad laat zien.

FAQ

Veelgestelde vragen

Kun je AI-gebruik meten zonder gebruikers-id?

Ja. De vragen die een organisatie wil beantwoorden gaan over tools en over de organisatie: welke diensten worden geopend, hoe vaak en welk deel daarvan via toegestane tools loopt. Voor geen van die vragen hoef je te weten wie het was. Een gebruikers-id voegt alleen toe dat je iemand erop kunt aanspreken, en dat is een andere vraag met een andere grondslag.

Waarom is het pad achter het domein een probleem?

Omdat het pad bij veel AI-tools een gespreks-id bevat, en soms een deel van de vraag. Wie het volledige adres vastlegt, legt daarmee vast wélk gesprek iemand voerde en kan dat later aan iemand koppelen. Om te weten of de dienst wordt gebruikt, is het registreerbare domein genoeg: chatgpt.com zegt wat je wilt weten, de rest zegt iets over de persoon.

Is een telling per dag niet te grof?

Voor de governancevraag niet. Of een dienst op een dag is geopend, op hoeveel apparaten en hoe dat per week verschuift, is precies wat je nodig hebt om te besluiten en om te zien of een besluit effect heeft. Een tijdstip op de seconde voegt daar niets aan toe, maar maakt een telling in een klein team wel herleidbaar tot één persoon.

Wat is het verschil tussen een telling en een gedragsregistratie?

Een telling zegt dat iets is gebeurd en hoe vaak: dit domein, deze dag, zo vaak. Een gedragsregistratie zegt wie het deed. Technisch scheelt het één veld in de database. Juridisch is het het verschil tussen cijfers over de organisatie en het verwerken van persoonsgegevens van medewerkers, met alles wat daarbij hoort: een grondslag, transparantie en medezeggenschap.

Hoe legt BeeSensible dit vast?

De extensie geeft alleen het registreerbare domein van een AI-tool door, hooguit één keer per dag per apparaat, zonder gebruikers-id, zonder pad en zonder pagina-inhoud. Hoe vaak iemand AI gebruikt, wordt op het apparaat zelf bepaald en als anonieme telling per categorie doorgegeven. Het dashboard splitst nergens uit per medewerker.

Portret van Rens Timmermans van BeeSensible

Liever iemand die het laat zien?

Rens, BeeSensible

Ik geef je graag een rondleiding van twintig minuten. Laat je gegevens achter, dan zoek ik een moment dat jou uitkomt. Bellen of mailen mag natuurlijk ook.

Liever eerst even overleggen?

Wil je een live demo, of een offerte voor 100+ gebruikers? Laat je gegevens achter, dan nemen we binnen één werkdag contact op.