Recent zag OpenAI af van het lanceren van GPT-6.1 Astra vanwege veiligheidsredenen. De AI-agent zou niet binnen grenzen en bevoegdheden blijven. Volgens AI-deskundig Stefan Leijnen zitten er risico’s aan AI-agents: “Die technologie doet soms niet controleerbare dingen.”

Het nieuwste model van ontwikkelaar OpenAI zal niet begin oktober worden gelanceerd. Volgens het bedrijf is Astra het slimste en best afgestemde model ter wereld. Het biedt bepaalde betalende gebruikers een AI-agent aan.

AI-agents

Wat een AI-agent precies is, legt Stefan Leijnen uit. “Een agent is computerprogramma die zelfstandig kan handelen. Het zijn slimme programma’s die veel taken kunnen uitvoeren zonder dat de mens mee hoeft te kijken. Het kan dus dingen besluiten en berekenen zonder dat mensen soms zelf begrijpen wat er precies gebeurt.” AI-agents gaan niet volledig zelf te werk, het is niet dat het een eigen wil heeft, het blijft in die zin een computer.

Risico

De agents blijken vrij krachtig. Zo kreeg een model tijdens interne trainingen en tests bij OpenAI de opdracht om informatie te verzamelen. Deze informatie ging over overheidsuitgaven aan medicijnen. Toen bepaalde informatie hierover niet direct beschikbaar was, ging het verder dan bedoeld. Het kreeg toegang tot achterliggende infrastructuur. De AI-agents probeerden hier zelfstandig beperkingen te omzeilen. Dit risico ziet Eltjo Poort, adviseur op het gebied van digitale architectuur en maatschappelijke aspecten van onder andere AI, ook ontstaan. “Het risico is het niet hebben van controle. Dat gebeurt nu dus op grote schaal bij de meest geavanceerde modellen.”

Stel een AI-agent zou op een website komen waar gevoelige informatie te vinden is, is het moeilijk te voorspellen wat het met de informatie gaat doen. Het kan beperkt blijven tot meekijken, het kan ook zijn dat er allerlei informatie op straat kom te liggen, maar het kan ook zijn dat een agent informatie gaat aanpassen. “Het is dan dus lastig dat je niet weet of die agents dat doen en hoe je ze tegen kan houden”, vertelt Stefan Leijnen. Ook Eltjo Poort ziet hier gevaar in. “Kwaadwillenden kunnen via agents allerlei zeer gevoelige informatie vinden, ze kunnen ook agentes misbruiken om een gevoelige website plat te leggen.”

EU AI Act

Op 1 augustus 2024 ging de EU AI Act (verordening artificiële intelligentie) in werking. Het hoofddoel hiervan was zorgen dat AI-systemen binnen de Europese Unie veilig en betrouwbaar zijn. Dat geeft volgens Eltjo Poort nog geen enkele garantie dat AI-agents zelf in bedwang kunnen worden gehouden. Dit soort modellen zijn autonoom en hebben bij interne trainingen laten zien dat ze soms beperkingen proberen te omzeilen om alsnog hun doel te halen. “Het is in de aard van die modellen ontzettend moeilijk om te garanderen dat ze bepaalde dingen niet zullen gaan doen. Daar moet je echt andere maatregelen voor nemen.”