Decentrale overheden en de nieuwe AI-regels: herkennen en voorkomen van verboden toepassingen

Gaandeweg worden de regels van de AI-Verordening van toepassing. Zo ook op 2 februari 2025, toen een verbod op acht AI-toepassingen die als te gevaarlijk worden beschouwd inging. Om te voorkomen dat ontwikkelaars en gebruikers deze (onbedoeld) inzetten, heeft de Europese Commissie een richtsnoer gepubliceerd met handvatten om verboden toepassingen te herkennen.

Hoewel het richtsnoer ontzettend uitgebreid is, behandelt dit artikel alleen de relevante aspecten voor decentrale overheden.

Richtsnoeren

Voordat we de inhoud bespreken, is het belangrijk om aan te kaarten wat een richtsnoer is. Richtsnoeren helpen met het interpreteren van Europese wetgeving, maar zijn geen juridisch bindende documenten. Zij geven geen juridisch gezaghebbende interpretatie van de wet. Dit is voorbehouden aan het Hof van Justitie van de Europese Unie via de zogeheten prejudiciële procedure.

Het richtsnoer helpt wel om richting te geven aan hoe de AI Verordening gelezen moet worden, door middel van voorbeelden en het behapbaar maken van de complexe wettekst. De AI-Verordening gaf de Commissie de opdracht om deze Richtsnoer vast te stellen. Het doel is om door middel van de voorbeelden en extra uitleg de eerste regulering van AI ter wereld concreter te maken.

Verduidelijking woordgebruik

Het Richtsnoer verheldert verder verscheidene termen uit de AI Verordening. De meest decentraal relevante termen zijn het ‘gebruik’ van AI-systemen en de ‘gebruiksverantwoordelijke’.

Gebruik

De verboden praktijken refereren vaak aan het ‘in handel brengen, in gebruik stellen en gebruiken’ van AI-systemen, maar verduidelijken hierbij niet wat met ‘gebruik’ wordt bedoeld. Het Richtsnoer licht toe dat de term breed geïnterpreteerd moet worden als alle inzet van AI, ook wanneer het wordt geïntegreerd in een systeem.

Gebruikersverantwoordelijke

Artikel 3 lid 4 van de Verordening definieert gebruiksverantwoordelijke (in het Engels: ’deployer’) als:

“Een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem onder eigen verantwoordelijkheid gebruikt, tenzij het AI-systeem wordt gebruikt in het kader van een persoonlijke niet-beroepsactiviteit.”

Volgens het richtsnoer is de belangrijkste vraag bij het herkennen van de gebruiksverantwoordelijke of een persoon of organisatie de bevoegdheid heeft om te bepalen of en hoe een AI-systeem wordt gebruikt. Volgens het richtsnoer is de belangrijkste vraag bij het herkennen van de gebruiksverantwoordelijke of een persoon of organisatie de bevoegdheid heeft om te bepalen of en hoe een AI-systeem wordt gebruikt.

Waarom verboden praktijken?

Het Richtsnoer onderstreept dat bepaalde toepassingen zo gevaarlijk kunnen zijn, dat zij een bedreiging vormen voor de fundamentele rechten en waarden van de EU. Het Richtsnoer maakt daarbij verscheidene verwijzingen naar het Handvest van de Grondrechten van de Europese Unie. De grootste zorgen voor AI-toepassingen zit in de volgende grondrechten:

Eerbieding van het privéleven en het familie- en gezinsleven (artikel 7).
Bescherming van persoonsgegevens (artikel 8).
Recht op gedachte, geweten en godsdienst (artikel 10).
Recht op vrijheid van meningsuiting en informatie (artikel 11).
Het gelijkheidsbeginsel (artikel 20).
Het non-discriminatiebeginsel (artikel 21).
De rechten van het kind (artikel 24).
Recht op doeltreffende voorziening in rechte en op een onpartijdig gerecht (artikel 47).

Verboden praktijken

De verboden praktijken vormen een te groot risico voor bovenstaande fundamentele rechten. Deels in verband met de informatieverplichtingen over het gebruik van AI, kan het overschrijden van grenzen van het gebruik van AI-systemen resulteren in een verboden praktijk.

Zowel artikel 5 als de algemene definities van de AI-Verordening maken geen onderscheid in AI-systemen. Het enige verschil zit in de manier waarop het wordt of kan worden ingezet. De Commissie verduidelijkt dan ook in punten 39 en 40 van het Richtsnoer dat de verboden praktijken van toepassing zijn op zowel AI-systemen met een algemene inzet (general purpose) als voor Ai-systemen met een specifiek doeleind (intended purpose).

Hieronder belichten wij de volgende drie verboden AI-praktijken: schadelijke manipulatieve en misleidende technieken en uitbuiting, social scoring en biometrische categorisering van gevoelige eigenschappen.

Schadelijke manipulatie, misleiding en uitbuiting

De eerste twee verboden praktijken zijn gedefinieerd in Artikel 5 lid 1 punten a en b van de Verordening. Het gaat om technieken die individuen en kwetsbare personen blootstellen aan manipulatieve en misleidende technieken en/of uitbuiting. Het verbod beschermt daarmee de menselijke autonomie en menselijke waardigheid die worden beschermt in artikel 1 van het Handvest.

Voorwaarden vaststellen van schadelijke manipulatie, misleiding en/of uitbuiting.

(i) Het AI systeem moet in gebruik genomen worden.

(ii) Het AI-systeem moet gebruik maken van subliminale, doelmatig manipulatieve of misleidende technieken.

(iii) De technieken verstoren het gedrag van een persoon of groep te verstoren waardoor zij een keuze maken die zij anders niet zouden maken.

(iv) Het vertoonde gedrag moet (mogelijk) significante schade veroorzaken voor de persoon of groep zelf of voor een ander.

De term ‘subliminaal’ wordt gedefinieerd als heimelijk en niet of nauwelijks voor mensen waarneembaar.

Bij het ‘mogelijk veroorzaken’ van schade is de vraag of de gebruikersverantwoordelijke van het AI systeem redelijkerwijs de mogelijke schade kon voorzien. Hierbij moet worden gekeken naar technische en wetenschappelijke kennis. Voorzichtigheid met de inzet van AI is verstandig, maar het richtsnoer benadrukt ook dat de technologie niet altijd even transparant is. Dit vormt een uitdaging voor de gebruikersverantwoordelijken.

Verder moet voldoende rekening gehouden met wie in aanraking komt met de AI. Kinderen zijn bijvoorbeeld minder dan volwassenen in staat om kritisch te kijken naar wat een AI systeem produceert. De gebruikersverantwoordelijke moet zich dan ook bewust zijn van de doelgroep om ervoor te zorgen dat AI geen schade aanbrengt.

Het Richtsnoer geeft drie tips om onbehoorlijke inzet van AI te voorkomen:

Wees transparant met welk type AI wordt ingezet en hoe dit wordt gebruikt, wat de beperkingen zijn en hoe dit zich eventueel kan verhouden tot persoonlijke autonomie.
Leef relevante geldende regelgeving na.
Wees zorgvuldig en leef de nieuwst ontwikkelde (state of the art) standaarden na.

Social scoring

Wanneer AI aan social scoring doet, geeft het individuen en groepen een bepaalde score op basis van hun gedrag. Hoewel dit in theorie goed gedrag, veiligheid en toegespitste diensten kan bevorderen, kan het ook leiden tot oneerlijke sociale controle en surveillance. Doordat de groepen vaak gedefinieerd worden aan de hand van fysieke of sociale kenmerken die los staan van het gedrag, kan het ook een discriminerend effect hebben.

Voorwaarden vaststellen van social scoring.

(i) Het AI systeem moet in gebruik genomen worden.

(ii) Het AI systeem moet bedoelt of gebruikt worden voor de evaluatie of classificatie van natuurlijke personen of groepen over bepaalde tijd, gebaseerd op hun sociaal gedrag of karakteristieken.

(iii) De sociale score die met AI is bepaald leidt tot de schadelijke of nadelige behandeling van personen of groepen in situaties die los staan van de sociale context waarin de oorspronkelijke data is verkregen en/of de behandeling is onrechtvaardig en disproportioneel.

Biometrische categorisering op basis van ‘gevoelige’ karakteristieken

Artikel 5 lid 1 punt g van de AI-Verordening verbiedt toepassingen waarbij personen worden gecategoriseerd gebaseerd op biometrische gegevens om ras, politieke mening, geloofsovertuiging, lidmaatschap van een vakbond of seksuele oriëntatie. Indien deze gegevens rechtmatig verkregen zijn, kunnen er uitzonderingsgronden zijn, maar dit is hoofdzakelijk in het kader van rechtshandhaving.

Voorwaarden vaststellen van biometrische categorisering op basis van ‘gevoelige’ karakteristieken

(i) Het AI systeem moet in gebruik genomen worden.

(ii) Het AI systeem moet bedoeld zijn voor biometrische categorisering.

(iii) Individuele personen moeten worden gecategoriseerd.

(iv) De categorisering gebeurt op basis van biometrische gegevens.

(v) De categorisering wordt gebruikt om ras, politieke mening, geloofsovertuiging, lidmaatschap van een vakbond of seksuele oriëntatie af te leiden.

Boetes

Om naleving te bevorderen stelt de Verordening boetebepalingen in. Voor publieke instellingen, zoals decentrale overheden, kunnen lidstaten zelf de administratieve boetes bepalen. De in artikel 5 gedefinieerde praktijken zijn grove schendingen van de vrijheden van personen. Dit zijn de meest ingrijpende inbreuken waarvoor de hoogste boete opgelegd geldt.

Verhouding met andere wetgeving

Het richtsnoer geeft aan dat de verhouding tussen de AI-Verordening en de wetgeving rondom gegevensbescherming in het bijzonder relevant is, aangezien AI systemen vaak persoonsgegevens verwerken. Artikel 2 lid 7 van AI-Verordening geeft al aan dat de Wet geen afbreuk doet aan de gegevensbeschermingswetgeving. Zo moet bij het inzetten van AI onder andere rekening gehouden worden met de Algemene Verordening Gegevensbescherming.

Het richtsnoer wijst erop dat ook de link gelegd kan worden met uitspraken van het Europese Hof van Justitie en met richtsnoeren gepubliceerd door de European Data Protection Board (EDPB).

Naast de privacywetgeving wordt via het richtsnoer ook benadrukt dat consumentenbescherming volledig van toepassing blijft bij AI systemen die binnen de scope van de Verordening passen. Dit is in lijn met Artikel 2 lid 9 van de Wet.