Een privacyfunctionaris legt een dashboard voor aan de accountant. Er staan drie grafieken op: het aantal detecties per maand, de verdeling over applicaties, en een percentage dat op 97 staat.
De accountant kijkt er tien seconden naar en stelt één vraag: waarvoor is dit het bewijs?
Daar strandt het gesprek meestal, en het ligt niet aan de cijfers.
Een getal is geen bewijs
Bewijs is een verband tussen drie dingen: een verplichting, een maatregel, en een waarneming die laat zien dat die maatregel heeft gewerkt.
Een dashboard levert meestal alleen het derde. Er staat dat er 312 detecties waren en dat 97 procent daarvan is afgehandeld. Dat is een waarneming, en hij is nog niet aan iets gekoppeld.
De vertaalslag die ontbreekt: welk artikel van welk kader wordt hiermee onderbouwd, en boven welke grens is het genoeg? Zolang niemand die twee erbij zet, moet de lezer het zelf verzinnen. Een auditor doet dat niet.
Drie dingen die er standaard ontbreken
De maatregel. Een percentage afhandeling kan de dataminimalisatie uit artikel 5 lid 1c onderbouwen, of de passende beveiliging uit artikel 32, of geen van beide. Dat hangt af van hoe je het inricht. Zet het erbij, met het artikelnummer, of het getal doet geen werk.
De reikwijdte. Dit is de grootste. Als detectie werkt in de applicaties die worden ondersteund, dan gaat 97 procent over díe applicaties. Niet over alle AI-diensten die je organisatie gebruikt. Zonder die zin is het percentage niet fout maar wel misleidend, en dat is erger, want het overleeft de eerste vraag niet.
De rode rijen. Elke organisatie heeft maatregelen die niet met metingen zijn te onderbouwen. Wie een gesprek voert met een AI-tool via zijn telefoon, valt buiten het beeld. Of er een verwerkersovereenkomst is getekend, weet je systeem niet. Staan die niet in het overzicht, dan is het overzicht incompleet, en de auditor gaat er precies naar zoeken.
Twee bewijsketens die je niet mag optellen
Dit is het onderscheid dat de meeste rapportages missen en dat het meeste oplevert.
Er is een zichtbaarheidslaag: welke AI-diensten worden gebruikt, hoeveel er een besluit hebben, welk risicoprofiel eraan hangt. Die laag ziet veel, over honderden diensten, en kan nergens ingrijpen.
En er is een interventielaag: gevoelige gegevens die een markering krijgen voordat ze worden verzonden. Die laag kan wél ingrijpen, en alleen in de applicaties die worden ondersteund.
De verleiding is om er één cijfer van te maken, want dat leest prettiger. Doe dat niet. De twee lagen hebben verschillende reikwijdtes, en een samengesteld getal verbergt precies het verschil waar een toezichthouder naar vraagt. Wat je zoekt is een verantwoording waarin per maatregel staat uit welke laag het bewijs komt. Dat die twee lagen ook verschillend meten, zonder dat er personen aan hangen, staat in AI-monitoring versus medewerkersmonitoring.
Zo ziet dat eruit als je het uitschrijft:
