Nieuws

Publicatie: 30 september 2024

Door: en

Nieuwe toepassingen van artificiële intelligentie (AI) springen als paddenstoelen uit de grond. Dankzij technologische ontwikkeling kunnen processen geautomatiseerd worden, grote hoeveelheden data razendsnel worden verwerkt en organisaties effectiever te werk gaan. Niet voor niets proberen zowel overheden, bedrijven als burgers AI te benutten. Deze kansen klinken natuurlijk ideaal, vooral omdat AI soms kleinere foutmarges heeft dan mensen. Toch is niet alles rooskleurig. AI kan bijvoorbeeld worden gebruikt om misinformatie te verspreiden of een vooroordelen in een dataset reproduceren. Inderdaad, AI brengt naast voordelen ook risico’s met zich mee.

De Europese Unie (EU) is zich bewust van beide kanten. De kansen die AI biedt zijn te groot om te laten liggen, maar ook de risico’s moeten erkend worden om het op een verantwoorde manier toe te passen. In reactie hierop heeft de EU de AI-verordening gemaakt. Deze Verordening heeft twee doelen. Ten eerste wil het de inzet van AI binnen de Europese interne markt bevorderen. Ten tweede wil het een hoog niveau van veiligheid bieden om eventuele negatieve gevolgen van AI-systemen te voorkomen of in ieder geval te mitigeren. In feite gaat het dus om het benutten van kansen en het mijden van risico’s. In dit artikel belichten we dit tweede aspect van de risico’s.

Wat is AI?

Om te begrijpen wat de risico’s van AI kunnen zijn, is het van belang om te begrijpen wat het is. Hoewel de exacte definitie aan aanhoudende discussie onderworpen is, geeft het gebruik van de definitie uit de AI-verordening houvast. Immers, als een systeem onder deze definitie valt, komen er ook juridische verplichtingen bij.

Artikel 3, lid 1, omschrijft een ‘AI-systeem’ als “een op machine gebaseerd systeem dat is ontworpen om met verschillend niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan tonen, en dat, voor expliciete en impliciete doelstellingen, uit de ontvangen input afleidt hoe output te generen zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingen”.

Deze – laten we eerlijk zijn: lange – definitie maakt het mogelijk om een AI-systeem aan te wijzen. Dit doet het door drie herkenningspunten te identificeren. Een AI-systeem heeft in ieder geval:

  • een bepaald niveau van autonomie om te werken. Dit betekent dat het systeem beslissingen kan maken zonder menselijke tussenkomst;
  • aanpassingsvermogen;
  • en de mogelijkheid output te generen op basis van input.

Maar hoe zien deze karakteristieken er in de praktijk uit? Neem het bekendste voorbeeld van AI: ChatGPT van OpenAI. Deze chatbot is in staat om een gesprek te voeren met de gebruiker en vragen te beantwoorden. De reacties van ChatGPT zijn gebaseerd op de input die de gebruiker geeft en de ‘juiste’ output wordt zelf door het onderliggende taalmodel geproduceerd. Hiermee voldoet ChatGPT al aan de eerste en derde karaktereigenschap.

Als het gaat over de derde eigenschap, aanpassingsvermogen, is ChatGPT beperkt: de chatbot begint elk gesprek op het basismodel zoals die is gemaakt door OpenAI en past zich tussen gesprekken dus niet aan. ChatGPT is echter wel in staat om zich binnen een gesprek aan te passen. Aangezien ChatGPT voldoet aan alle drie karakteristieken is het een AI-model in de zin van de AI-verordening. Dit betekent dat de makers rekening moeten houden met de eisen van de Verordening. Deze eisen staan ook in verhouding met de risico’s.

Risico

Zoals aangegeven in de introductie, is één van de twee hoofddoelen van de AI-verordening het mijden van risico’s bij de inzet van AI. Maar wat betekent dit woord ‘risico’? In Artikel 3, lid 2, van de Verordening wordt het gedefinieerd als “de combinatie van de kans op schade en de ernst van die schade”. Overweging 5 laat zien dat schade breed geïnterpreteerd moet worden. Zo omvat het zowel materiële als immateriële schade. Daarmee kan dit zowel lichamelijk, psychisch, maatschappelijk of economisch zijn.

Om te bepalen in hoeverre een AI-systeem een risico vormt haal je het langs twee assen van schade: de as van kans en de as van ernst. Deze dynamiek is visueel weergegeven in bijstaande afbeelding. Het is belangrijk om te benadrukken dat geen kans of ernst van schade alleen in theorie kan bestaan. Met elk AI-systeem kan wat fout gaan en als dat het geval is, richt dat altijd een vorm van schade aan – ernstig of niet. Volledig risicoloos zal een AI-systeem dan ook nooit zijn. Dit is echter niet anders dan met andere apparatuur of machines, zoals een auto. Ook hierin zitten maatregelen – zoals een airbag – om deze risico’s te mitigeren.

De AI-verordening benadrukt dat menselijk toezicht uitermate belangrijk is. Vooral bij het maken van belangrijke keuzes, zoals een medische diagnose, moet het besluit bij mensen liggen. AI kan hier een belangrijke ondersteunende rol in spelen, maar de Verordening schrijft voor dat het altijd mensen moeten zijn die de keuzes maken met een grote impact op anderen.

Kans op schade

Het is opmerkelijk dat risico niet alleen gaat over de mogelijkheid van schade, maar ook op de kans dat er schade ontstaat. Een AI-systeem dat kwalitatief weinig schade aanricht, maar waarbij de kans dat deze schade voorkomt erg hoog is, kan namelijk ontzettend risicovol zijn. Stel dat een AI-systeem voor het maken van een nieuwsfeed bijvoorbeeld alleen maar fake news zou verzamelen, dan is de daadwerkelijke schade enerzijds vrij klein. Het zou immers om niet meer gaan dan foutief informeren. Echter, als dit systematisch gebeurt en een persoon continu dezelfde fake news tot zich neemt, kan deze persoon een vertekend beeld krijgen van de werkelijkheid.

Met elk AI-systeem kan wat fout gaan en als dat het geval is, richt dat altijd een vorm van schade – ernstig of niet.

De AI-verordening suggereert dat de mate van autonomie van een AI-systeem een grote rol speelt binnen de kans op schade, specifiek wanneer AI toegepast wordt op de gezondheid en de veiligheid van personen. Zo worden robots steeds vaker ingezet in de gezondheidszorg, zowel om hun nauwkeurigheid maar ook om de sector te verlichten. De autonomie van deze AI-aangedreven robots maakt het bijvoorbeeld mogelijk om de distributie van medicijnen sneller en makkelijker te maken. Hiermee wordt een taak van het zorgpersoneel verlicht. Mocht er echter wat mis gaan bij het uitvoeren van de taak, dan kan dit de gezondheid van een persoon aanzienlijk schaden. De EU wil daarom ook hogere eisen stellen aan AI-systemen die een hogere graad van autonomie hebben.  

Ernst van schade

De ernst van schade draait eigenlijk om de vraag hoe groot de schade is wanneer een AI-systeem deze veroorzaakt. Zoals eerder vermeld, kan dit zowel materieel als immaterieel van aard zijn. Dit impliceert dat de schaal wellicht een beperkte rol speelt, aangezien schade zowel op individueel fysiek niveau als op maatschappelijk niveau kan worden ervaren.

Schade is het grootst als het de veiligheid, gezondheid of rechten van mensen aantast. De AI-verordening impliceert dat deze drie aspecten zo cruciaal zijn voor mensen, dat alleen een ander mens hier impact op mag hebben. AI wordt in het kader van automatisering en gebrek aan menselijk inzicht niet geacht als in staat zijnde om hier keuzes over te maken.

Risico en eisen

Eén van de belangrijkste manieren waarop via de Verordening risico’s worden beheerst en tegelijkertijd het gebruik van AI wordt gestimuleerd, is het vaststellen van verschillende risicocategorieën. Hierbij geldt: hoe hoger het risico, hoe strenger de eisen. Daarbij worden ook zogenaamde verboden praktijken aangemerkt. Dit zijn acties die een AI-systeem niet binnen de jurisdictie van de EU mag verrichten.

Verboden AI-praktijken

Gedefinieerd in artikel 5, de Verordening legt een strenge restrictie op een aantal toepassingsmogelijkheden van AI. Deze toepassingen zijn een duidelijke bedreiging voor de veiligheid, het levensonderhoud en de rechten van mensen. De impact van mogelijke schade is dusdanig groot en alleen al de aanwezigheid van een kans op de schade, maakt dat risico te groot is om dit soort AI-mogelijkheden in te zetten. Voor de verbodenpraktijken, zie ook het kader hieronder.

De verboden praktijken zijn toepassingen van AI die absoluut niet in handel gebracht of gebruikt mogen worden. Dit zijn de volgende toepassingen:

  • AI dat mensen manipuleert, met als doel één of meerdere personen op zo’n grote schaal te misleiden dat hun doen-vermogen om een geïnformeerd besluit te nemen wordt aangetast en/of dat deze persoon of groep (waarschijnlijk) schade oploopt.
  • AI dat gebruik maakt van de kwetsbaarheden van een natuurlijk persoon of een specifieke groep met als doel deze persoon of personen zo te verstoren dat zij (waarschijnlijk) schade oplopen. Deze zwakheden worden gedefinieerd door leeftijd, een handicap of een specifieke sociale of economische achterstand.
  • AI dat mensen evalueert of classificeert op basis van sociaal gedrag of voorspelde persoonlijke kenmerken, waarbij dit wordt gebruikt om deze personen onevenredig of onrechtvaardig te behandelen, is een onrechtvaardig gebruik van social scoring.
  • AI dat risicobeoordelingen maakt van personen om te bepalen in hoeverre een persoon een risico is om een strafbaar feit te plegen. Dit mag wel gebruikt worden ter ondersteuning van menselijke beoordeling om achteraf te bepalen of iemand mogelijk betrokken was bij een criminele activiteit. Deze AI-toepassing is echter niet toegestaan voordat er daadwerkelijk een strafbaar feit is gepleegd.
  • AI dat databanken voor gezichtsherkenning maakt of aanvult doormiddel van ongerichte scraping van het internet of CCTV-beelden.
  • AI dat emoties van natuurlijke personen op de werkplek of in het onderwijs monitort.
  • AI dat personen categoriseert op basis van biometrische gegevens om ras, politieke opvattingen, vakbondslidmaatschap, religieuze of levensbeschouwelijke overtuigingen, seksleven of seksuele gerichtheid af te leiden.
  • AI dat real-time op afstand mensen biometrisch identificeert met het oog op rechtshandhaving. Dit mag wel als er gezocht wordt op een specifiek slachtoffer van ontvoering, mensenhandel of seksuele uitbuiting, al dan wel een vermiste persoon. Ook bij het voorkomen van een specifieke, aanzienlijke en imminente dreigingen, zoals bij een terroriste aanslag, kan deze AI-toepassing gebruikt worden.

Het laatste voorbeeld uit het kader laat goed zien hoe risico’s tegenover elkaar afgewogen worden. Het gebruik van deze AI-toepassing blijft groot en significant. Toch wordt het toegestaan, omdat de eventuele schade van bijvoorbeeld de terroristische aanval groter is. De toepassing van AI wordt hier gebruikt om de kans op die schade te verminderen.

AI-systemen met een hoog risico

Een AI-systeem dat aangemerkt wordt als hoog-risico kan mogelijk vergaande schade aanrichten aan de veiligheid, gezondheid en rechten van mensen. Toch zijn er mogelijke toepassingen waarin het gebruik van AI zo nuttig kan zijn, dat het de risico’s waard is. AI kan namelijk processen ook veiliger, betrouwbaarder en/of efficiënter maken. Het is dus van belang om de risico’s te mitigeren, zodat de AI alsnog zo veilig mogelijk ingezet kan worden.

Hoe hoger het risico, hoe strenger de eisen.

Dit is te zien aan de twee voorwaarden voor een AI-systeem om als hoog risico gecategoriseerd te worden. Ten eerste moet het een veiligheidscomponent zijn van een product of het AI-systeem moet vallen onder een lijst van producten uit Bijlage I van de Verordening. Ten tweede moet het product een conformiteitsbeoordeling ondergaan om te bevestigen dat het veilig genoeg is voor gebruik.

In Bijlage III van de AI-verordening is een lijst opgenomen met toepassingsgebieden waarin AI-systemen als hoog risico worden aangemerkt, vanwege de gevoeligheid en het risico van die gebieden. Dit gaat om toepassingen in:

  • biometrie;
  • kritieke infrastructuur;
  • onderwijs en beroepsopleiding;
  • werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid;
  • toegang tot en gebruik van essentiële particuliere en publieke diensten en uitkeringen;
  • rechtshandhaving;
  • migratie-, asiel- en grenstoezichtbeheer;
  • en rechtsbedeling en democratische processen

Al deze domeinen hebben te maken met kwetsbare processen, informatie of doelgroepen. Hierdoor is de kans op schade groot. Als kritieke infrastructuur, zoals waterkering, bijvoorbeeld niet meer werkt door het falen van een AI-systeem, kan dit levens kosten.

AI met een hogere mate van autonomie zal ook eerder binnen deze categorie vallen. Juist vanwege de risico’s die met deze toepassing gepaard kunnen gaan voor de veiligheid, gezondheid en rechten van mensen, is het belangrijk dat mensen controle hebben over de besluitvorming en dat AI hier vooral een ondersteunende rol in heeft. Het is daarbij wel belangrijk dat de output van AI goed geïnterpreteerd wordt.

AI-systemen met een hoog risico moeten aan de strengste eisen voldoen voordat zij toegepast kunnen worden. Dit gaan hoofdzakelijk om eisen van cyberveiligheid, toezicht en kwaliteitsbeheer, documentatie van processen, evaluaties en de eerdergenoemde conformiteitsbeoordeling.

AI-systemen met een middelgroot risico

Tussen de hoge en lage risico AI-toepassingen is een grijsgebied dat binnen de AI-verordening zijn eigen risiconiveau is, maar dat bijzonder wordt genoemd vanwege transparantieverplichtingen en gebruiksverantwoordelijkheden. Deze AI-systemen hebben niet dezelfde grote risico’s als de hoog risico AI-toepassingen. Het specifieke doel van deze categorie, zoals vastgelegd in artikel 50 van de Verordening, is ervoor te zorgen dat aanbieders gebruikers informeren wanneer zij interactie hebben met een AI-systeem.

Dit gaat dan bijvoorbeeld om AI-systemen die audio, tekst of video genereren, zoals ChatGPT. Door de transparantieverplichtingen is het gemakkelijker om te onderscheiden of iets door een mens is gemaakt of door een AI-systeem. Met deze eisen hoopt de Verordening manipulatie en het verspreiden van foutieve informatie tegen te gaan.

Ook hier is te zien hoe risico terugkomt. De mogelijke schade die dit type AI kan veroorzaken is relatief klein in verhouding tot bijvoorbeeld AI die in aanraking komt met biometrische gegevens. Het belangrijkste risico van deze toepassing ligt echter in de kans dat er schade kan optreden. Als iemand gebruikt maakt van chat, dan weet men niet of ‘aan de andere kant’ een AI-systeem zit of een persoon. Hierdoor kan de aard van het gesprek heel misleidend zijn. Hetzelfde geldt voor zogenaamde deepfakes, oftewel afbeeldingen gegeneerd door AI. Hierdoor kunnen beelden ontstaan die niet echt zijn, maar die mensen wel als zodanig interpreteren.

De deepfake van de Paus in merkkleding is hier een voorbeeld van. Op deze afbeelding is de Paus te zien in extravagante dure merkkleding. Mensen reageerden geschokt op deze afbeelding, aangezien het vertoon van extreme welvaart ongepast werd geacht voor de leider van de Katholieke kerk, waar ook veel mensen met een financiële achterstand zich onder scharen. De afbeelding bleek echter gefungeerd door AI. Dit was te herleiden aan kleine details, zoals een gek gegenereerde vinger.

Ondanks dat deze afbeelding dus nep bleek, gooide het wel een knuppel in het hoenderhok. De belangrijkste les was dat de kans bestaat dat gegenereerde afbeeldingen straks niet meer te onderscheiden zijn van foto’s uit de werkelijkheid. Dit kan weer leiden tot misleiding door AI. De mogelijkheid om onderscheid te maken tussen echt en nep is cruciaal om misinformatie tegen te gaan. Het beperkte risiconiveau dient ervoor dit onderscheid in stand te houden.  

Laag- of geen risico

Als laatste zijn er toepassingen van AI waarin zowel de kans op schade als de eventuele impact hiervan zo klein zijn, dat er geen bijzondere regels zijn, behalve dat de technische documentatie van het model opgesteld moet worden en dat het up-to-date moet zijn. De AI binnen deze categorie is ook al veel in gebruik, alleen is heel lang het bewustzijn er nog niet geweest om dit als AI te (h)erkennen. Het gaat bijvoorbeeld om spamfilters in je email of adblockers in je browser.  Deze toepassingen maken het leven gemakkelijker, kunnen weinig schade aanrichten en de kans dat ze überhaupt schade aanrichten is relatief klein.

Decentrale relevantie

Wat betekent dit voor decentrale overheden? Dit is natuurlijk afhankelijk van het type AI dat zij (willen) inzetten. Veel decentrale overheden maken al gebruik van een chatbot op hun website om inwoners te helpen. Dit is een typisch voorbeeld van een laag-risico AI, waarbij het dus belangrijk is om aan te geven dat de inwoner in contact staat met een chatbot en niet met een medewerker.

Maar wat als het gaat om de toepassing van AI in grotere projecten? Stel dat een waterschap kunstmatige intelligentie waardoor een gemaal zelf bepaalt wanneer die in werking treedt. Het foutief werken van AI, kan hierbij leiden tot grote schade. Tegelijkertijd zou het ook zo efficiënt kunnen werken, dat de AI juist overstromingen voorkomt en zo schade beperkt. Deze afweging suggereert dat het mogelijk om hoog-risico AI zou kunnen gaan. Het is belangrijk om de correlatie tussen risico’s en kansen in acht te nemen om te bepalen aan welke eisen een AI-toepassing moet voldoen.

Conclusie

De eisen die de EU stelt aan AI zijn niet om de inzet te beperken, maar om een verantwoordelijke uitrol aan te moedigen. Juist doordat AI-systemen aan bepaalde eisen voldoet, is het bruikbaar en praktisch. Om dezelfde reden dat een auto bepaalde veiligheidsmaatregelen, zoals gordels of airbags, ingebouwd moet hebben, moet een chatbot bijvoorbeeld aangeven dat het gebruik maakt van AI. De AI-verordening is een vooruitlopend stuk wetgeving waarmee de verantwoordelijke oppak van deze technologie mogelijk wordt.