Om ervoor te zorgen dat de uitrol van kunstmatige intelligentie (AI) in de Europese Unie (EU) plaatsvindt met inachtneming van veiligheid, gezondheid en grondrechten van mensen, hebben de wetgevende instellingen van de EU de AI-Verordening (2024/1689) ingezet.
Doel verordening
De AI Verordening geeft als doel mee om AI-producten zo in te zetten dat de kans op schade aan veiligheid, gezondheid of grondrechten van mensen te verkleinen. De Verordening heeft hiermee een op risico gebaseerde aanpak; hoe meer risico de technologie met zich meebrengt, hoe strikter de regels.
Definitie AI-systeem
Artikel 3, lid 1, omschrijft een ‘AI-systeem’ als “een op machine gebaseerd systeem dat is ontworpen om met verschillend niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan tonen, en dat, voor expliciete en impliciete doelstellingen, uit de ontvangen input afleidt hoe output te generen zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingen”.
Hierbij wordt onderscheid gemaakt tussen vier risicoclassificaties:
- Onaanvaardbaar risico.
- Hoog risico.
- Beperkt risico.
- Minimaal risico.
AI-systemen met onaanvaardbare risico’s zijn verboden. Artikel 5 van de AI-Verordening verbiedt hiertoe de volgende toepassingen:
- AI die mensen manipuleert, met als doel één of meerdere personen op zo’n grote schaal te misleiden dat hun doen-vermogen om een geïnformeerd besluit te nemen wordt aangetast en/of dat deze persoon of groep (waarschijnlijk) schade oploopt.
- AI die gebruik maakt van de kwetsbaarheden van een natuurlijk persoon of een specifieke groep met als doel deze persoon of personen zo te verstoren dat zij (waarschijnlijk) schade oplopen. Deze zwakheden worden gedefinieerd door leeftijd, een handicap of een specifieke sociale of economische achterstand.
- AI die mensen evalueert of classificeert op basis van sociaal gedrag of voorspelde persoonlijke kenmerken, waarbij dit wordt gebruikt om deze personen onevenredig of onrechtvaardig te behandelen, is een onrechtvaardig gebruik van social scoring.
- AI die risicobeoordelingen maakt van personen om te bepalen in hoeverre een persoon een risico is om een strafbaar feit te plegen. Dit mag wel gebruikt worden ter ondersteuning van menselijke beoordeling om achteraf te bepalen of iemand mogelijk betrokken was bij een criminele activiteit. Deze AI-toepassing is echter niet toegestaan voordat er daadwerkelijk een strafbaar feit is gepleegd.
- AI die databanken voor gezichtsherkenning maakt of aanvult door middel van ongerichte scraping van het internet of CCTV-beelden.
- AI die emoties van natuurlijke personen op de werkplek of in het onderwijs monitort.
- AI die personen categoriseert op basis van biometrische gegevens om ras, politieke
opvattingen, vakbondslidmaatschap, religieuze of levensbeschouwelijke overtuigingen, seksleven of seksuele gerichtheid af te leiden. - AI die real-time op afstand mensen biometrisch identificeert met het oog op rechtshandhaving. Dit mag wel als er gezocht wordt op een specifiek slachtoffer van ontvoering, mensenhandel of seksuele uitbuiting, al dan wel een vermiste persoon. Ook bij het voorkomen van een specifieke, aanzienlijke en imminente dreiging, zoals bij een terroristische aanslag, kan deze AI-toepassing gebruikt worden.
AI-systemen met hoog risico moeten aan strenge eisen rondom (o.a.) cyberveiligheid, toezicht en kwaliteitsbeheer, documentatie van processen, evaluaties en conformiteitsbeoordeling voldoen. Beperkte risico’s worden gemitigeerd door transparantieverplichtingen die de inzet van AI duidelijk maken aan eindgebruikers. Voor AI-systemen met minimale risico’s geldt doorlopend risicotoezicht.
Elke lidstaat moet één of meerdere nationale bevoegde autoriteiten aanwijzen die verantwoordelijk is voor het toezicht op de Verordening in algemene zin. Daarnaast moeten er ook toezichthouders komen, afhankelijk van de sector waar een AI-systeem in gebruik wordt genomen. Hiertoe kunnen ook boetes opgelegd worden, waartoe de AI-Verordening de boetemaxima definieert.
Decentrale relevantie
In opdracht van het Ministerie voor Binnenlandse Zaken en Koninkrijksrelaties heeft KED een brede juridische impactanalyse uitgevoerd op de AI-Verordening voor de provincies en waterschappen. De algemene bevindingen hieruit zijn dat de AI-Verordening de omgang reguleert met AI-producten, namelijk AI-modellen voor algemene doeleinden en AI-systemen. De AI-Verordening is daarmee een complexe vorm van productregulering.
De impactanalyse volgt het vierstappenplan om de AI-Verordening te kunnen toepassen van de Uitvoeringsanalyse van de AI-Verordening voor gemeenten van de VNG. Hieronder vindt u een overzicht van AI-systemen die provincies en waterschappen kunnen inzetten, met de waarschijnlijke risicoclassificatie:
Minimaal risico:
- spamfilters
- spelling- en grammaticacorrectie
- slimme thermostaten
- virtuele assistenten (kunnen ook onder beperkt risico vallen, afhankelijk van de mate van interactie met eindgebruikers)
Beperkt risico:
- chatbots
- voorspellende tekstinvoersystemen
- anonimiseringssoftware (bijvoorbeeld in het kader van Woo of Who-verzoeken)
- geautomatiseerde rapportagesystemen (zoals mutatiesignalering, trendsignalering, remote sensing onder andere gebaseerd op foto / video / satelliet-input en/of website scraping)
- transcriptiesystemen (van vocale input naar geschreven woorden)
- participatieplatforms (“polling tools”)
Hoog risico:
- infrastructuurmonitoring (zoals weg-, bodem-, water-, natuurmonitoring)
- energiemanagementsystemen
- contractmanagementsystemen
- personeelsmanagementsystemen
- opsporingssystemen in het kader van handhaving (maaidetectie, uitstootdetectie)
- opsporingssystemen in het kader van uitvoering (scheurdetectie / slijtagedetectie
(waterkeringen, bruggen, wegen) overstromingsvoorspellingen) - verkeersoptimalisatiesystemen / intelligente verkeersregelinstallaties (iVRIs)
Onaanvaardbaar risico
Hiervan zijn bij KED voor Nederland nog geen voorbeelden bekend.
