5 vragen voor beveiligingsteams om Generative AI te gebruiken

Sinds we Charlotte AI hebben aangekondigd, hebben we met veel klanten gesproken om te laten zien hoe deze transformerende technologie meer snelheid en waarde voor beveiligingsteams zal opleveren en hun slagvaardigheid in de strijd tegen hedendaagse tegenstanders zal vergroten. De respons door klanten is overweldigend positief, omdat organisaties zien hoe Charlotte AI hun teams sneller en productiever zal maken en nieuwe vaardigheden zal leren, wat cruciaal is om de tegenstanders te verslaan in de opkomende generative AI-wapenwedloop.

Het is een gegrond enthousiasme - we hebben al talloze voorbeelden gezien van hoe generative AI de drempel verlaagt voor nieuwe bedreigingsactoren om geavanceerde en schaalbare aanvallen uit te voeren, van deep fakes tot high-fidelity phishing e-mails en AI-gegenereerde ransomware

Maar net zo vaak als we enthousiasme en fascinatie horen, horen we ook aarzeling en ongerustheid over het gebruik van generative AI voor beveiligingsdoeleinden - en deze geluiden zijn ook gegrond. Met elke baanbrekende technologie zijn er nieuwe risico's waar organisaties zich bewust van moeten zijn en op moeten anticiperen. Generative AI is niet anders. Dr. Sven Krasser, SVP & Chief Scientist bij CrowdStrike, merkte onlangs op: "Generative AI heeft zijn eigen aanvalsoppervlak", wat kritieke overwegingen oproept voor de manier waarop deze technologie wordt verworven, getraind, gereguleerd en versterkt tegen aanvallen. We zien nu al de eerste openbare beleidsmaatregelen om best practices in de industrie te stimuleren bij het ontwikkelen van veilige en betrouwbare generative AI met de Executive Order van het Witte Huis die is uitgevaardigd op 30 oktober 2023.

Parallel aan opkomende regelgeving is het noodzakelijk dat organisaties de belangrijkste risico's in overweging nemen, vooral bij het gebruik van generative AI in beveiligingstechnologie. Enkele van de meest prangende vragen die beveiligingsteams moeten afwegen bij het evalueren van AI-toepassingen zijn:

  • Hoe zorgen we ervoor dat generative AI-antwoorden accuraat zijn?
  • Hoe beschermen we organisaties tegen het nieuwe aanvalsoppervlak van generative AI - inclusief data poisoning en prompt injection?
  • Hoe zorgen we ervoor dat de privacy van klanten wordt gewaarborgd?
  • Hoe voorkomen we ongeautoriseerde datalekken?
  • Hoe zal generative AI de rol van de analist veranderen - en moeten we allemaal op zoek naar een nieuwe baan?

Naast deze zorgen vereisen de verhoogde geavanceerdheid van tegenstanders en de toenemende complexiteit van moderne beveiligingsoperaties een generative AI-aanpak die speciaal is gebouwd voor beveiligingsteams. Dit is een aanpak die ook vloeiend de syntaxis van beveiliging kan begrijpen en kan anticiperen op de workflows van analisten.

CrowdStrike bevindt zich in een unieke positie om de beveiligingsindustrie te leiden bij de toepassing van generative AI, aangezien het AI-native Falcon®-platform al sinds de oprichting voorop loopt bij innovatie op het gebied van AI-aangedreven detectie. Om organisaties in staat te stellen generative AI veilig te omarmen, hebben we zowel de behoeften als de zorgen van beveiligingsteams centraal gesteld in de architectuur van Charlotte AI, in de wetenschap dat de informatie die het naar analisten brengt uiteindelijk hun beslissingen zal informeren en de risicopositie van hun organisatie zal vormen. Vanuit deze visie levert Charlotte AI prestaties zonder compromissen: security analisten worden op een hoger niveau gebracht en hun workflows worden versneld, terwijl tegelijkertijd de privacy wordt beschermd, de nauwkeurigheid wordt gecontroleerd en rolgebaseerde beveiligingen worden afgedwongen voor maximale veiligheid.

Gebouwd voor nauwkeurigheid: Voorkom AI-hallucinaties

AI "hallucinaties" zijn onnauwkeurige - soms zelfs onzinnige en ongeloofwaardige - antwoorden op vragen van gebruikers. Intrinsieke hallucinaties ontstaan wanneer de output van large language modellen in tegenspraak is met beschikbare broncontent. Extrinsieke hallucinaties doen zich voor wanneer modellen geen toegang hebben tot de informatie waar gebruikers om vragen. Wanneer dit zich voordoet, creëren veel generative AI-systemen antwoorden die plausibel lijken maar in feite onjuist zijn.

AI-hallucinaties in consumentenproducten met large language modellen (LLM) kunnen variëren van grappig tot absurd - maar op het gebied van security is onnauwkeurigheid geen lachertje. Onjuiste beveiligingsinformatie kan ernstige gevolgen hebben voor een organisatie, van onderbroken operaties en een verzwakte risicopositie tot een gemiste inbreuk. Precies om deze reden is een van de manieren waarop Charlotte AI speciaal is gebouwd voor beveiligingsteams dat het in de eerste plaats is ontworpen om waarheidsgetrouw te zijn. Charlotte AI's garanties voor nauwkeurigheid komen voort uit drie belangrijke gebieden: 1) de manier waarop Charlotte AI LLM's gebruikt, 2) de gegevens waarop de modellen worden getraind en 3) de gegevens waartoe de LLM's toegang hebben.

Charlotte AI gebruikt LLM's op twee belangrijke manieren: ten eerste om gebruikersvragen op semantische wijze te begrijpen en te bepalen hoe het Falcon-platform moet worden gebruikt om de benodigde antwoorden te verkrijgen, en ten tweede om te beslissen hoe de bevindingen aan gebruikers moeten worden gepresenteerd en samengevat. Om deze taken uit te voeren, worden de LLM's van Charlotte AI getraind op de productdocumentatie en API's van het CrowdStrike Falcon®-platform. Dit maakt Charlotte AI een expert in het Falcon-platform, uitgerust met de mogelijkheid om gegevens op te vragen en te extraheren uit de vele modules en API's van het platform.

We kunnen de volgorde van competenties die Charlotte AI toepast om vragen te beantwoorden als volgt onderverdelen:

  • Stap 1: Identificeer welke informatie nodig is om de vraag van de gebruiker te beantwoorden
  • Stap 2: Breng de benodigde informatie in kaart met de mogelijkheden van het Falcon platform die nodig zijn en waartoe de gebruiker toegang heeft.
  • Stap 3: Informatie ophalen uit de relevante mogelijkheden
  • Stap 4: Structureer en vat de bevindingen samen in een intuïtief formaat.
  • Stap 5: Rapporteren van de informatiebronnen en corresponderende API calls inbegrepen bij elk Charlotte AI antwoord


Figuur 1. Volgorde van competenties die Charlotte AI toepast om gebruikersvragen te begrijpen en antwoorden te genereren met behulp van de gegevens van het Falcon-platform

Er zijn drie belangrijke voordelen van dit ontwerp:

  • Charlotte AI gebruikt alleen de gegevens van het Falcon-platform: Charlotte AI is in staat om de toonaangevende telemetrie en threat intelligence van het Falcon-platform te gebruiken, die voortdurend wordt verrijkt met inzichten van CrowdStrike's 'threat hunters', data scientists, MDR-teams (Managed Detection and Response) en incidentresponders. Door Charlotte AI's gegevensbronnen te richten op de high-fidelity intelligentie in het Falcon-platform, heeft Charlotte AI architecturale garanties tegen data poisoning.
  • Charlotte AI's antwoorden zijn controleerbaar en traceerbaar: Elk antwoord dat Charlotte AI geeft kan worden geïnspecteerd en gecontroleerd met behulp van de "Show Response Details" optie die bij elk antwoord zit. Bovendien, omdat Charlotte AI alleen informatie kan halen uit datgene waartoe een gebruiker toegang heeft, zal het werk van Charlotte AI ook reproduceerbaar zijn voor beveiligingsteams.


Afbeelding 2. Charlotte AI biedt gebruikers de optie om de bron van elk antwoord te inspecteren en te controleren door de optie "Show Response Details" te selecteren.

  • Charlotte AI ondersteunt doorlopende bijscholing en stelt teams in staat om de volledige waarde van het Falcon platform te benutten: Omdat tegenstanders bedreven raken in nieuwe domeinen - van het aanvallen van endpoints tot cloud omgevingen en identiteiten - hebben organisaties hun investeringen uitgebreid om tools te verwerven om opkomende aanvalsvectoren te monitoren en te verdedigen. Maar al te vaak resulteert dit in gefragmenteerde technologiestapels van puntoplossingen die operationele blinde vlekken creëren, responstijden vertragen en de operationele overhead verhogen. Om dit tegen te gaan, wenden organisaties zich steeds vaker tot uniforme, geconsolideerde beveiligingsplatforms, zoals CrowdStrike Falcon, die geïntegreerd overzicht en een domeinoverkoepelende verdediging kunnen bieden. Maar zelfs met geïntegreerde platformen kan het een zware taak zijn om nieuwe functies voor te blijven. Als expert in de modules, functies en API's van het Falcon-platform, zal Charlotte AI teams in staat stellen om continu de voordelen van het Falcon-platform te maximaliseren - het elimineren van tijd die wordt besteed aan het scannen van documentatie, het minimaliseren van cycli die worden besteed aan het bewerken van scripts en het uitwissen van onregelmatig giswerk bij het navigeren door de console.

Gemaakt voor privacy: Bescherming van PII van klanten

Generative AI-technologie brengt ook belangrijke privacykwesties met zich mee. Gebruikers moeten begrijpen welke gegevens - als die er zijn - worden gedeeld met derde partijen. Onder de motorkap maakt Charlotte AI gebruik van meerdere technologieën, waaronder modellen die zijn verfijnd door CrowdStrike en verschillende technologieën van derden. Charlotte AI verwerkt gevoelige gegevens via de technologieën van vertrouwde partners, zoals AWS Bedrock, in plaats van via diensten die vragen van gebruikers gebruiken om hun modellen te trainen. Hierdoor kan Charlotte AI klanten het best mogelijke antwoord op hun vraag geven binnen de grenzen van de privacygaranties van CrowdStrike.

Gebruikers moeten ook begrijpen op welke gegevens de grote taalmodellen in hun producten zijn getraind. Charlotte AI gebruikt de productdocumentatie en API's van het Falcon-platform en wordt niet getraind op gebruikersgegevens, waaronder gebruikersinputs of gespreksprompts.

Gebouwd voor veiligheid: Preventie van ongeoorloofde gegevensblootstelling

Veiligheidskwesties rond generative AI kunnen de kop opsteken in de vorm van interne en externe risico's. Intern worden organisaties geconfronteerd met risico's op meerdere fronten: Ten eerste, hoe voorkom je ongeoorloofde blootstelling van gegevens binnen je organisatie, en ten tweede, wie is uiteindelijk verantwoordelijk en aansprakelijk voor acties die worden ondernomen op basis van informatie die door generative AI aan het licht wordt gebracht? Extern moeten organisaties ook nadenken over hoe hun producten worden beschermd tegen manipulatie door kwaadwillenden, zoals prompt injections of prompt leakage.

Rolgebaseerde toegangscontroles: Charlotte AI respecteert het bestaande rolgebaseerde toegangsbeleid van een gebruiker dat is ingesteld in hun Falcon-omgeving en werkt binnen de toegewezen privileges van hun rol. Met andere woorden, Charlotte AI kan geen toegang krijgen tot gegevens, modules of mogelijkheden waartoe gebruikers nog geen toegang hebben.

De analist is de autoriteit en is verantwoordelijk: Hoewel vaak wordt gezegd dat mensen de zwakste schakel in de beveiliging zijn, is CrowdStrike er altijd van uitgegaan dat de door experts geleverde fundamentele waarheid en de context van analisten een van de sterkste punten van security is. In een AI-gebaseerd SOC blijft de analist essentieel bij het beoordelen, beslissen en autoriseren van beveiligingsoperaties, ondersteund door de output van generative AI. Hierin ligt het verschil tussen Charlotte AI's expertise en de rol van de security analist: Charlotte AI is een expert in het Falcon platform en zal de analist in staat stellen om kritieke informatie te vinden met snelheid en vaardigheid, uren werk reduceren tot minuten, gebruikmakend van de nieuwste functionaliteit en real-time intelligentie van het Falcon platform. Maar uiteindelijk is het aan analisten om de taken van Charlotte AI te sturen en te beslissen welke strategische acties er in hun omgeving genomen moeten worden. Als een analist bijvoorbeeld detecties op een hostgroep heeft geïdentificeerd, kan Charlotte AI een aanbevolen script schrijven voor gebruik in Falcon Real Time Response (RTR), maar het is aan de gebruiker om het script te bekijken, op te slaan in Falcon RTR en uit te voeren.

Prompt injection en prompt leakage voorkomen: Prompt injection, een manier waarop generative AI informatie krijgt om te handelen op een manier die oorspronkelijk niet de bedoeling was, heeft veel aandacht getrokken van security onderzoekers die werken met tools zoals de AI-chatbot Sydney van Bing. Onderzoekers hebben ook het risico gesignaleerd dat bedreigingsactoren kwetsbaarheden in gebruikersomgevingen blootleggen door generative AI-systemen eerder gestelde vragen te laten onthullen (bekend als prompt leakage), waardoor onderzoeken van analisten of aandachtsgebieden van analisten worden blootgelegd. Door het ontwerp heeft Charlotte AI verschillende beschermingsmechanismen tegen dit soort aanvallen. Als interface voor de Falcon-omgeving van een gebruiker heeft Charlotte AI geen toegang tot gegevens of mogelijkheden waartoe gebruikers anders geen toegang hebben. Bovendien moeten alle wijzigingen die Charlotte AI aanbrengt in de omgeving van een gebruiker eerst worden beoordeeld en goedgekeurd door een geautoriseerde analist, als een extra beveiliging tegen prompt injections die een actie proberen te activeren.

Verantwoordelijk innovatie omarmen

Nu kwaadwillenden met AI steeds geavanceerdere aanvallen uitvoeren, moeten organisaties worden uitgerust om hen op het strijdtoneel met een gelijkwaardige, zo niet superieure, respons tegemoet te treden. Generative AI heeft het potentieel om beveiligingsteams een boost te geven en hun output te maximaliseren met zowel omvang als snelheid. Hoewel de risico's van generative AI de adoptie ervan door beveiligingsteams niet in de weg zouden moeten staan, zou inzicht in de risico's de beslissingscriteria moeten bepalen die organisaties toepassen bij het kiezen van een beveiligingsleverancier en -partner.