De AI-verordening (Verordening 2024/1689) reguleert het verantwoord gebruik en ontwikkeling van kunstmatige/artificiële intelligentie (AI) in de Europese Unie, met oog op balans tussen innovatie, veiligheid en grondrechten van de mensen. In de Verordening staan onder andere regels over specifieke eisen voor bepaalde AI-systemen, verbod op bepaalde AI-praktijken en geharmoniseerde regels omtrent transparantie. De regels zijn van toepassing op bedrijven, (decentrale) overheden en andere organisaties.
Toepassingsgebied: AI-systemen en AI-modellen voor algemene doeleinden
Ten eerste is de AI Verordening van toepassing op AI-systemen. Artikel 3, lid 1 van de verordening omschrijft een AI-systeem als “een op machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan tonen, en dat, voor expliciete en impliciete doelstellingen, uit de ontvangen input afleidt hoe output te generen zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingen”.
Daarnaast is de AI Verordening ook van toepassing op AI-modellen voor algemene doeleinden. Artikel 3 lid 63 omschrijft deze als:
- Een AI-model dat een aanzienlijk algemeen karakter vertoont, ook wanneer het getraind is met een grote hoeveelheid data
- In staat is op competente wijze een breed scala aan verschillende taken uit te voeren
- En dat kan worden geïntegreerd in een verscheidenheid aan systemen verder in de AI-waardeketen
Op basis van overweging 99 en 97 uit de preambule geldt in zijn algemeenheid dat AI-modellen voor algemene doeleinden breed inzetbaar zijn en een breed scala aan taken kunnen uitvoeren, maar dat zij geen zelfstandige systemen zijn. Een aantal voorbeelden van AI-modellen zijn GPT-5 (OpenAI) en BERT (Google).
Toepassingsgebied: Risicocategorieën
Een kerndoel van de verordening is de balans tussen innovatie en veiligheid in het algemeen. Hiervoor gebruikt de verordening een op risico gebaseerde aanpak; hoe hoger risico AI-systemen met zich meebrengen, des te strikter de regels. De verordening maakt hierbij onderscheid tussen vier risicoclassificaties:
- Onaanvaardbaar risico
- Hoog risico
- Beperkt risico
- Minimaal risico
Onaanvaardbaar risico
AI-systemen met onaanvaardbare risico’s zijn verboden. Artikel 5 van de AI-verordening verbiedt hiertoe de volgende toepassingen:
- AI die mensen manipuleert, met als doel één of meerdere personen op zo’n grote schaal te misleiden dat hun doen-vermogen om een geïnformeerd besluit te nemen wordt aangetast en/of dat deze persoon of groep (waarschijnlijk) schade oploopt.
- AI die gebruik maakt van de kwetsbaarheden van een natuurlijk persoon of een specifieke groep met als doel deze persoon of personen zo te verstoren dat zij (waarschijnlijk) schade oplopen. Deze zwakheden worden gedefinieerd door leeftijd, een handicap of een specifieke sociale of economische achterstand.
- AI die mensen evalueert of classificeert op basis van sociaal gedrag of voorspelde persoonlijke kenmerken, waarbij dit wordt gebruikt om deze personen onevenredig of onrechtvaardig te behandelen, is een onrechtvaardig gebruik van social scoring.
- AI die risicobeoordelingen maakt van personen om te bepalen in hoeverre een persoon een risico is om een strafbaar feit te plegen. Dit mag wel gebruikt worden ter ondersteuning van menselijke beoordeling om achteraf te bepalen of iemand mogelijk betrokken was bij een criminele activiteit. Deze AI-toepassing is echter niet toegestaan voordat er daadwerkelijk een strafbaar feit is gepleegd.
- AI die databanken voor gezichtsherkenning maakt of aanvult door middel van ongerichte scraping van het internet of CCTV-beelden.
- AI die emoties van natuurlijke personen op de werkplek of in het onderwijs monitort.
- AI die personen categoriseert op basis van biometrische gegevens om ras, politieke
opvattingen, vakbondslidmaatschap, religieuze of levensbeschouwelijke overtuigingen, seksleven of seksuele gerichtheid af te leiden. - AI die real-time op afstand mensen biometrisch identificeert met het oog op rechtshandhaving. Dit mag wel als er gezocht wordt op een specifiek slachtoffer van ontvoering, mensenhandel of seksuele uitbuiting, al dan wel een vermiste persoon. Ook bij het voorkomen van een specifieke, aanzienlijke en imminente dreiging, zoals bij een terroristische aanslag, kan deze AI-toepassing gebruikt worden.
Hoog risico
AI-systemen met een hoog risico vallen onder deze classificatie wanneer zij een hoog risico geven op schade aan gezondheid, veiligheid of grondrechten van mensen. Om te kunnen bepalen of een AI-systeem binnen deze classificatie valt, moet volgens artikel 6 in combinatie met Bijlagen I en III goed gekeken worden naar de productkenmerken en het bedoelde gebruik. Volgens artikel 6, lid 1 en Bijlage I gaat het voornamelijk erom of een AI-systeem gebruikt wordt als een veiligheidscomponent van een gereguleerd product, waaronder speelgoed, liften en machines. Daarnaast staan overeenkomstig met artikel 6, lid 2 in Bijlage III een lijst met hoog risico toepassingen. Voorbeelden van hoog risico AI-systemen/toepassingen zijn personeelsmanagementsystemen, contractmanagementsystemen en infrastructuurmonitoring.
Artikel 6, lid 3 bepaalt dat AI-systemen die vermeld staan in Bijlage III niet als hoog risico worden beschouwd wanneer deze geen significant risico op schade voor de gezondheid, veiligheid of de grondrechten van een persoon inhoudt. Het artikel geeft vervolgens voorwaarden van laag risico toepassingen. Voor laag risico-toepassingen van een (in isolatie bekeken hoog risicoproduct) geldt veelal dat de beslissingen door menselijke tussenkomst worden genomen, dus dat er geen sprake is van automatische besluitvorming. Zodra sprake is van profilering van natuurlijke personen en/of geautomatiseerde besluitvorming is wel sprake van een hoog risico classificering voor een in bijlage III bedoeld AI-systeem. Dit is bijvoorbeeld het geval bij:
- Het geautomatiseerd verstrekken van vergunningen;
- Het geautomatiseerd verlenen van subsidies, uitkeringen of andere overheidsdiensten;
- Of geautomatiseerde afhandeling van andere wettelijke aanvragen
AI-systemen met hoog risico zijn onderworpen aan strenge eisen voordat zij in de handel mogen worden gebracht, volgens artikelen 8 t/m 27. Deze eisen hebben betrekking tot het opstellen van geschikte systemen voor risicobeoordeling en beperking, kwaliteitsbeheer, documentatie van processen, evaluaties en conformiteitsbeoordeling. Beperkte risico’s worden gemitigeerd door transparantieverplichtingen die de inzet van AI duidelijk maken aan eindgebruikers. Aanbieders van AI-systemen zijn daarbij verplicht hieraan te voldoen (zie artikel 16). Een belangrijk aspect van de eisen aan aanbieders is de voortdurende monitoring van de opzet en het gebruik van hun AI-systemen met hoog risico.
Beperkt risico
AI-systemen die een beperkt risico geven op schade aan gezondheid, veiligheid of grondrechten van mensen kunnen worden geclassificeerd als een AI-systeem met beperkt risico. Voorbeelden hiervan zijn chatbots, zoals ChatGPT, of anonimiseringssoftware. Voor deze categorie gelden specifieke voorwaarden met betrekking tot transparantie risico’s, volgens artikel 50 (1) en 50(2). Bij het gebruik van AI-systemen moeten gebruikers er bijvoorbeeld op worden gewezen dat zij interactie hebben met een machine, zodat ze weloverwogen beslissingen kunnen nemen. Daarnaast moeten aanbieders van AI-systemen ervoor zorgen dat met AI gegenereerde inhoud, zoals deepfakes, identificeerbaar zijn als met behulp van AI gemaakt.
Minimaal risico
Onder deze categorie vallen AI-systemen die een minimaal risico geven op schade aan gezondheid, veiligheid of grondrechten van mensen. Voorbeelden hiervan zijn spamfilters of spelling -en grammaticacorrectie. De verordening bevat geen regels voor AI-systemen onder die categorie.
Toepassingsgebied: Rollen
De eisen die door de AI-verordening aan de organisatie gesteld worden ten opzichte van het AI-systemen zijn grotendeels rolafhankelijk. De AI-verordening specificeert in artikel 3 de volgende rollen, waarbij meerdere rollen tegelijktijdig van toepassing kunnen zijn:
- Aanbieder: Een aanbieder is een organisatie die het AI-product ontwikkelt of laat ontwikkelen en het in de handel brengt of in gebruik stelt onder de eigen naam of merk, al dan niet tegen betaling.
- Gebruiksverantwoordelijke: Gebruiksverantwoordelijken zijn de organisaties, inclusief ZZP’ers, die het AI-product onder eigen organisatie-verantwoordelijkheid gebruiken.
- Gemachtigde: Een gemachtigde is een organisatie met een schriftelijke machtiging van een aanbieder om namens die aanbieder de verplichtingen en procedures van deze verordening respectievelijk na te komen en uit te voeren
- Importeur: Een importeur is een organisatie die een AI-systeem in de uniehandel brengt dat de naam of het merk van een in een derde land gevestigde natuurlijke of rechtspersoon draagt
- Distributeur: Een distributeur is een andere organisatie in de toeleveringsketen dan de aanbieder of de importeur, die een AI-systeem in de Unie op de markt aanbiedt.
Decentrale overheden zullen meestal in de hoedanigheid van gebruiksverantwoordelijke optreden. Echter kan het ook voorkomen dat medeoverheden ook aanbieder zijn van de AI-systemen, bijvoorbeeld in gevallen waar zij zelf een AI-systeem ontwikkelen. Daarbij is het verantwoord om te analyseren welke rol van toepassing is. Over de verschillende rollen en de verplichtingen die daaraan gekoppeld zijn kunt u de Impactanalyse AI-verordening voor waterschappen en provincies raadplegen.
Verplichtingen voor overheden
De AI-verordening heeft verschillende regels die in het bijzonder van toepassing zijn op overheidsinstanties. Volgens artikel 26, lid 8 moeten overheden hun gebruik van AI-systemen met hoog risico registreren in de EU-databank voor AI-systemen met een hoog risico zoals omschreven in bijlage III. Waar overheden constateren dat deze AI-systemen niet staan geregistreerd in de in artikel 71 bedoelde EU-databank gebruiken zij deze niet of stellen de distributeur daarvan op de hoogte.
Daarnaast moeten overheden volgens artikel 27 ook een grondrechtenimpactanalyse uitvoeren voordat zij het AI-systeem met hoog risico in gebruik stellen. Hierbij gaat het voornamelijk om het vaststellen van de mogelijke gevolgen van gebruik van het AI-systeem met hoog risico voor de grondrechten van de mensen.
AI-geletterdheid
Volgens artikel 4 van de verordening zijn aanbieders en gebruiksverantwoordelijken, waaronder decentrale overheden, verplicht om maatregelen te nemen die zorgen voor een toereikend niveau van AI-geletterdheid bij hun personeel of andere personen die namens hen AI-systemen gebruiken. AI-geletterdheid wordt volgens artikel 3 lid 56 gedefinieerd als volgt:
‘Vaardigheden, kennis en begrip die aanbieders, gebruiksverantwoordelijken en betrokken personen, rekening houdend met hun respectieve rechten en plichten in het kader van deze verordening, in staat stellen geïnformeerd AI-systemen in te zetten en zich bewuster te worden van de kansen en risico’s van AI en de mogelijke schade die zij kan veroorzaken’
De maatregelen die aanbieders en gebruiksverantwoordelijken moeten nemen moeten, volgens artikel 4, rekening houden met:
- De technische kennis, ervaring, scholing en training van de medewerkers;
- De context waarin de betreffende AI-systemen gebruikt worden; en
- De personen of groepen personen op wie de betreffende AI-systemen gebruikt worden.
Toezicht
Volgens artikel 28 moet elke lidstaat één of meerdere nationale bevoegde autoriteiten aanwijzen die verantwoordelijk is/zijn voor het toezicht op de Verordening in algemene zin. Daarnaast moeten er toezichthouders komen, afhankelijk van de sector waar een AI-systeem in gebruik wordt genomen. Hiertoe kunnen ook boetes opgelegd worden, waartoe de AI-Verordening de boetemaxima definieert.
Decentrale relevantie
In opdracht van het Ministerie voor Binnenlandse Zaken en Koninkrijksrelaties heeft KED een brede juridische impactanalyse uitgevoerd op de AI-Verordening voor de provincies en waterschappen. De algemene bevindingen hieruit zijn dat de AI-Verordening de omgang reguleert met AI-producten, namelijk AI-modellen voor algemene doeleinden en AI-systemen. De AI-Verordening is daarmee een complexe vorm van productregulering. De impactanalyse volgt het vierstappenplan om de AI-Verordening te kunnen toepassen van de Uitvoeringsanalyse van de AI-Verordening voor gemeenten van de VNG.
Hieronder vindt u een overzicht van AI-systemen die provincies en waterschappen kunnen inzetten, met de waarschijnlijke risicoclassificatie:
Minimaal risico
- spamfilters
- spelling- en grammaticacorrectie
- slimme thermostaten
- virtuele assistenten (kunnen ook onder beperkt risico vallen, afhankelijk van de mate van interactie met eindgebruikers)
Beperkt risico
- chatbots
- voorspellende tekstinvoersystemen
- anonimiseringssoftware (bijvoorbeeld in het kader van Woo of Who-verzoeken)
- geautomatiseerde rapportagesystemen (zoals mutatiesignalering, trendsignalering, remote sensing onder andere gebaseerd op foto / video / satelliet-input en/of website scraping)
- transcriptiesystemen (van vocale input naar geschreven woorden)
- participatieplatforms (“polling tools”)
Hoog risico
- infrastructuurmonitoring (zoals weg-, bodem-, water-, natuurmonitoring)
- energiemanagementsystemen
- contractmanagementsystemen
- personeelsmanagementsystemen
- opsporingssystemen in het kader van handhaving (maaidetectie, uitstootdetectie)
- opsporingssystemen in het kader van uitvoering (scheurdetectie / slijtagedetectie
bij waterkeringen, bruggen, wegen of overstromingsvoorspellingen) - verkeersoptimalisatiesystemen / intelligente verkeersregelinstallaties (iVRIs)
Onaanvaardbaar risico
Hiervan zijn bij KED voor Nederland nog geen voorbeelden bekend.
