Nieuw onderzoek toont aan dat de meeste LLM s niet in staat zijn om one day kwetsbaarheden te misbruiken, zelfs niet als ze de CVE beschrijving krijgen.

De offensieve potentie van populaire grote taalmodellen, LLM s, is op de proef gesteld in een nieuw onderzoek waaruit bleek dat GPT 4 het enige model was dat levensvatbare exploits kon schrijven voor een reeks CVE s. Het artikel van onderzoekers van de University of Illinois Urbana Champaign testte een reeks populaire LLM s, waaronder OpenAI s GPT 3.5 en GPT 4, plus toonaangevende opensource agents van Mistral AI, Hugging Face en Meta.

De AI agents kregen een lijst met 15 kwetsbaarheden, varierend qua ernst van medium tot kritiek, om te testen hoe succesvol de LLM s autonoom exploitcode konden schrijven voor CVE s. De onderzoekers maakten een specifieke prompt om de beste resultaten van de modellen te krijgen, die de agent aanmoedigde om niet op te geven en zo creatief mogelijk te zijn met zijn oplossing.

Alleen GPT 4

Tijdens de test kregen de agents toegang tot web browsing elementen, een terminal, zoekresultaten, het maken en bewerken van bestanden en een code interpreter. Uit de resultaten van het onderzoek bleek dat GPT 4 het enige model was dat in staat was om met succes een exploit te schrijven voor een van de one day kwetsbaarheden, met een succespercentage van 86,7 procent.

De auteurs merkten op dat ze geen toegang hadden tot GPT 4 s commerciele rivalen zoals Claude 3 van Anthropic of Google s Gemini 1.5 Pro en waren dus niet in staat om hun prestaties te vergelijken met die van OpenAI s vlaggenschip GPT 4.

Deze versturen we 3-4x per jaar.