Multi-turn aanvallen kraken open-weight AI, Cisco analyseert acht populaire AI-modellen
Uit wereldwijd onderzoek van Cisco blijkt dat open-weight large language models (LLM’s), waaronder Mistral, Meta’s Llama, Google Gemma en Alibaba Qwen, structureel kwetsbaar zijn voor zogenaamde multi-turn attacks. In totaal zijn acht populaire open AI-modellen uit de VS, Europa en China onderzocht met Cisco’s eigen AI Validation platform.
Bij een multi-turn aanval stelt een cybercrimineel een AI-model meerdere, slim opgebouwde vragen achter elkaar. Door telkens subtiel de context of rol te verschuiven, bijvoorbeeld met opmerkingen als ‘voor research’ of ‘als test’, omzeilen ze de ingebouwde veiligheidsmaatregelen en weten ze informatie te ontfutselen die normaal gesproken geblokkeerd zou worden. Multi-turn aanvallen blijken 2 tot 10 keer effectiever dan traditionele single-turn attacks.
Kernbevindingen uit het onderzoek:
- Multi-turn aanvallen hebben een slagingspercentage van 26% tot zelfs 93%, met name bij langere gesprekken.
- Gevolgen in de praktijk zijn onder andere het uitlekken van gevoelige bedrijfsinformatie, interne procedures of klantgegevens.
- AI-modellen kunnen bovendien worden misleid om phishingberichten of andere schadelijke content te genereren.
- Ook kunnen ethische grenzen en interne veiligheidsbeperkingen worden overschreden, waardoor er output ontstaat die buiten het toegestane gebruik valt.
Het onderliggende probleem is dat open-weight modellen, die openbaar beschikbaar en aanpasbaar zijn, onvoldoende in staat blijken hun eigen veiligheidsregels consequent toe te passen. In tegenstelling tot gesloten modellen ligt de verantwoordelijkheid voor security grotendeels bij de gebruiker of organisatie zelf. Zonder extra maatregelen lopen bedrijven het risico dat cybercriminelen via stapsgewijze interacties misbruik maken van deze kwetsbaarheden.
Jan Heijdra, Field CTO bij Cisco Nederland zegt: “Om de risico’s van multi-turn aanvallen te beperken, is het essentieel dat organisaties strikte systeem-prompts inzetten die aansluiten bij het beoogde gebruik van AI. Daarnaast zijn model-onafhankelijke runtime-guardrails en regelmatige AI red-teaming nodig om manipulatie en misbruik tijdig te detecteren. Zonder continue, onafhankelijke tests en beveiliging gedurende de volledige levenscyclus van een model blijven deze systemen kwetsbaar in productie.”