Onderzoekers van WithSecure hebben aangetoond dat ChatGPT en soortgelijke AI-systemen, ondanks hun ingebouwde content-filters, kunnen worden ingezet voor het genereren van geavanceerde malware. Via zogenaamde jailbreak-prompts slaagden de onderzoekers erin polymorfe malware te laten schrijven.
OpenAI heeft gereageerd en benadrukt dat hun systemen voortdurend worden verbeterd om misbruik te detecteren en te voorkomen.