EU akkoord over AI Act: wat moet je weten?

Afgelopen vrijdag hebben de onderhandelaars van het Europees Parlement en de Europese Raad een voorlopig akkoord bereikt over de artificiële intelligentie (AI) wet. De AI Act beoogt de innovatie te stimuleren en Europa toonaangevend te maken binnen de wereld van AI. Tegelijkertijd moet het ook de grondrechten, gezondheid, veiligheid, rechtsstaat, democratie en de milieuduurzaamheid beschermen tegen AI-systemen met hoge risico’s. Met deze doelen is het niet verrassend dat het nogal wat voeten in de aarde heeft gehad om tot een akkoord te komen. De definitieve tekst moet binnenkort komen, maar de grote lijnen zijn nu al wel duidelijk. Wat zijn de belangrijkste uitgangspunten van de AI Act en de laatste toevoegingen aan de wet?

Verboden AI-systemen

In de AI Act is gekozen voor een op risico gebaseerde benadering. Dit betekent dat de risicocategorie van een AI-systeem bepaalt aan welke verplichtingen het systeem moet voldoen. AI-systemen met een onacceptabel risico voor de burgerrechten zijn verboden. Dit zijn systemen die manipulatief zijn en die misbruik maken van zwakheden van mensen. Deze stellen op basis van gedrag of persoonlijke kenmerken sociale scores vast en herkennen emoties op het werk of in onderwijsinstellingen. Sommige AI-systemen kunnen zelfs gezichtsherkenningsdatabases creëren op basis van het ongericht scrapen van foto’s van het internet of camerabeelden. Deze personen kunnen ze dan biometrisch categoriseren op basis van gevoelige kenmerken. Deze verboden AI-systemen mogen in de gehele Europese Unie (EU) niet door aanbieders op de markt worden gebracht en niet door gebruikers worden gebruikt.

Voor biometrische identificatiesystemen bestaan specifieke uitzonderingen in het kader van rechtshandhaving. Zoals bij het zoeken naar een veroordeelde persoon of een verdachte van een ernstige misdaad. Enkel dan kan achteraf, op afstand gebruik worden gemaakt van dergelijke AI-systemen. Het zogenaamd real-time, oftewel live, gebruiken van biometrische identificatiesystemen mag onder strikte voorwaarden. Dit mag alleen voor het voorkomen van terrorisme, het opsporen van verdachten van ernstige misdrijven en het opsporen van slachtoffers van ontvoering of mensenhandel.

Hoog risico AI-systemen

In het eerste voorstel voor de AI Act van de Europese Commissie, was al een groot aantal hoog risico AI-systemen opgenomen. Dit zijn bijvoorbeeld systemen die personen selecteren bij sollicitaties en die door overheidsinstanties worden gebruikt om te beoordelen of iemand in aanmerking komt voor een bepaalde uitkering. Nieuw is dat AI-systemen die gebruikt worden om verkiezingen te beïnvloeden ook geclassificeerd zijn als hoog risico. Daarnaast is een verplichte ‘fundamental rights impact assessment’ ingesteld voor hoog risico systemen. Ook hebben burgers de mogelijkheid gekregen om klachten over AI-systemen in te dienen.

Generatieve AI-systemen

De snelle opkomst van generatieve AI-systemen, zoals ChatGPT, heeft er mede voor gezorgd dat er veel is gediscussieerd over de juiste vorm van de AI Act. Het leek een breekpunt te worden voor sommige lidstaten, maar uiteindelijk is overeenstemming bereikt. Generatieve AI-systemen moeten technische documentatie opstellen en voldoen aan EU-auteursrechtwetgeving. Daarbij moeten ze uitgebreide samenvattingen geven over de gebruikte inhoud voor het trainen van de systemen. Uiteraard moeten zij ook voldoen aan de al voorgestelde transparantieverplichtingen. Dit betekent bijvoorbeeld dat het voor mensen duidelijk moet zijn dat zij interactie hebben met een AI-systeem.

Voor zogenaamde ‘high-impact’ generatieve AI-systemen gaan strenge eisen gelden. Het wordt interessant om te zien welke partijen uiteindelijk onder deze strenge eisen zullen gaan vallen. Deze systemen moeten uitgebreide evaluaties en risicobeoordelingen uitvoeren. Ook zullen zij verslag moeten uitbrengen aan de Europese Commissie over ernstige incidenten en de energie-efficiëntie van de systemen.

Hoge boetes als handhavingsinstrument

De nationale toezichthouders krijgen de mogelijkheid om toegang te vragen tot data en documentatie van AI-systemen met een hoog risico. Ook gaan zij AI-systemen evalueren die een specifiek risico op gezondheid- en veiligheidsgebied hebben. Als een AI-systeem niet aan de eisen van de AI Act voldoet, dan kan de toezichthouder een AI-systeem uit de handel halen of het aanbieden ervan verbieden of beperken. De toezichthouders kunnen boetes opleggen aan systemen die niet voldoen aan de AI Act. Deze kunnen oplopen tot 35 miljoen euro of 7% van de wereldwijde jaaromzet. De hoogte hangt af van de soort overtreding en de grootte van het bedrijf. 

Wat nu?

Eerst moet de officiële tekst van de AI Act worden vastgesteld en gepubliceerd. Twintig dagen na de publicatie zal de AI Act in werking treden om waarschijnlijk 24 maanden daarna daadwerkelijk van toepassing te zijn. De AI Act is een verordening, wat betekent dat alle regels directe werking zullen hebben in alle EU-lidstaten. Voor nu is het dus nog afwachten voordat we weten wanneer AI-systemen aan de verplichtingen moeten voldoen. 

Organisaties zullen nog iets meer dan 24 maanden hebben om te voldoen aan de nieuwe regels. Dit lijkt een lange tijd, maar de ervaring leert dat het in kader brengen van de eigen verplichtingen en het neerzetten van goede compliance veel tijd kost. Wij blijven op de hoogte van de ontwikkelingen en kunnen adviseren over de toepassing van de definitieve AI Act. Voor nu kan je ons whitepaper downloaden voor concrete handvatten over de specifieke risico’s van het gebruiken van AI op de werkvloer. Ook kunnen wij helpen bij het opstellen van een gedragscode voor de digitale werkomgeving voor jouw organisatie.