Commvault ziet dat de recente AI-incidenten bij Claude en OpenAI het belang van de EU AI Act benadrukken. De voorvallen laten zien hoe snel nieuwe technologie tot onverwachte veiligheids- en privacyrisico's kan leiden. Honderden gebruikers ontdekten dat hun gedeelde chats met de chatbot Claude vindbaar waren via zoekmachines. OpenAI meldde dat een AI-agent niet alleen Hugging Face had gecompromitteerd, maar ook andere externe diensten. Het zijn recente voorbeelden van hoe AI beveiligingslekken kan creëren en gegevens in gevaar kan brengen. Op 2 augustus trad een deel van de EU AI Act in werking. De eerste brede AI-wetgeving van de Europese Unie moet bijdragen aan meer discipline en veiligheid. Wat betekent dit voor organisaties en hoe kunnen zij zich voorbereiden?
Sommige experts spreken over typische kinderziektes van een jonge technologie. Anderen zien juist serieuze onderliggende beveiligingsproblemen die niet eenvoudig zijn op te lossen. De gebeurtenissen van juli lijken de tweede opvatting te ondersteunen. Tijdens tests vertoonden AI-systemen gedrag dat hun ontwikkelaars niet hadden voorzien. Zo wist een AI-agent van OpenAI niet alleen Hugging Face te compromitteren, maar ook andere externe diensten. In een ander incident zorgden AI-functionaliteiten ervoor dat gedeelde gesprekken met Claude via de Google-index openbaar vindbaar werden. Gebruikers hadden de gesprekken weliswaar gedeeld, maar waren zich er niet van bewust dat deze ook door zoekmachines zouden worden geïndexeerd.
AI is nieuw, veelbelovend en moeilijk voorspelbaar. Zelfs binnen een gecontroleerde testomgeving vinden de modellen nieuwe manieren om hun doel te bereiken. Autonome AI-systemen werken doelgericht, maar bereiken hun doel soms op manieren die hun ontwikkelaars niet hadden voorzien of bedoeld.
Regels voor meer discipline en een grondige risicoanalyse
Het is bijna ironisch dat juist in juli zoveel AI-incidenten plaatsvonden. Hoewel de uitgebreide verplichtingen voor hoog-risico AI-systemen pas vanaf december 2027 gelden, treden op 2 augustus al belangrijke transparantieverplichtingen in werking. Daarmee krijgt het Europese, risicogebaseerde kader voor AI opnieuw verder vorm.
Een aantal fundamentele uitgangspunten
Of een organisatie nu zelf AI ontwikkelt of gebruikmaakt van AI-diensten van derden, het is verstandig om nu te beoordelen welke verplichtingen uit de AI Act van toepassing zijn en of de bestaande governance daarop is ingericht. Voor IT-leiders en CISO's betekent dit dat hun beveiligingsmodel zich net zo snel moet ontwikkelen als de AI-toepassingen binnen hun organisatie. Daarbij zijn er enkele fundamentele uitgangspunten die voor vrijwel iedere organisatie gelden, ongeacht de mate waarin de AI Act rechtstreeks van toepassing is.
Betrouwbare data en weerbare infrastructuur. Effectieve AI-governance begint met betrouwbare data en een weerbare AI-infrastructuur. Alleen een omgeving die snel kan worden hersteld, biedt voldoende zekerheid over de integriteit van data en processen. Organisaties moeten bovendien voorbereid zijn op cyberincidenten die specifiek AI-systemen en hun data kunnen raken.
AI-agents als digitale identiteit. Behandel iedere AI-agent als een digitale identiteit met uitgebreide bevoegdheden. Verleen uitsluitend de minimaal noodzakelijke toegangsrechten en monitor het gedrag continu op afwijkingen.
Controleer feitelijke toegangsrechten. Vertrouw niet op aannames over de toegangsrechten van AI-systemen. Controleer regelmatig welke systemen daadwerkelijk toegankelijk zijn voor AI-agents. Juist het verschil tussen beoogde en feitelijke toegangsrechten leidt tot beveiligingsrisico's.
Ga uit van een incident, niet alleen van preventie. Organisaties doen er goed aan hun focus te verleggen van uitsluitend preventie naar operationele weerbaarheid, en ervan uit te gaan dat een beveiligingsincident zich al heeft voorgedaan of zich zal voordoen. AI vervaagt de grenzen tussen cybersecurity, identity management en disaster recovery. Die disciplines kunnen niet langer los van elkaar worden georganiseerd. Een geïntegreerde aanpak maakt het mogelijk afwijkingen sneller te signaleren, systemen te isoleren en betrouwbare data te herstellen voordat een incident escaleert.
Nieuwe transparantieverplichtingen per 2 augustus. Organisaties moeten gebruikers informeren wanneer zij met een AI-agent of chatbot communiceren. Ook moet duidelijk zijn wanneer emotieherkenning of biometrische classificatie wordt toegepast. Daarnaast gelden specifieke transparantie-eisen voor bepaalde AI-gegenereerde of gemanipuleerde content, waaronder deepfakes.
De incidenten van juli zijn geen reden om AI niet in te zetten. Ze maken wel duidelijk dat organisaties niet langer kunnen uitgaan van de veronderstelling dat autonome AI-systemen altijd functioneren zoals bedoeld. De belangrijkste les is dat vertrouwen in AI nooit vanzelfsprekend mag zijn. Het moet voortdurend worden getoetst. Daarbij is weerbaarheid minstens zo belangrijk als snelle herstelmogelijkheden, ook wanneer zelfs de beste beveiligingsmaatregelen worden omzeild.
Mark Molyneux, Field CTO EMEA bij Commvault: "Dat OpenAI inmiddels heeft aangegeven dat de recente AI-gedreven aanval niet alleen Hugging Face, maar ook andere externe diensten heeft geraakt, laat zien hoe AI nieuwe beveiligingsrisico's kan introduceren. Dit moet niet worden gezien als een kwaadaardige AI-aanval, maar als een vorm van reward hacking: de AI-agent week af van zijn beoogde werkgebied en bereikte zijn doel door externe systemen te compromitteren. Juist omdat dergelijk gedrag niet per se voortkomt uit kwaadwillendheid, moeten organisaties investeren in operationele weerbaarheid. De vraag is niet alleen hoe incidenten kunnen worden voorkomen, maar ook hoe systemen tijdens een crisis beschikbaar blijven of snel en gecontroleerd kunnen worden hersteld.”
"Het Claude-incident is een treffend voorbeeld van hoe AI-functionaliteit onbedoeld tot datalekken kan leiden. Honderden gebruikers maakten zonder het te beseffen gesprekken openbaar die onder meer juridische documenten, cv's, broncode, herstelzinnen voor cryptowallets en persoonsgegevens bevatten. Hoewel zij bewust gebruikmaakten van een deelfunctie, waren zij zich er niet van bewust dat deze gesprekken vervolgens door zoekmachines werden geïndexeerd en openbaar vindbaar werden. Het incident is een voorbeeld van hoe snel gegevens kunnen uitlekken."