OpenAI-KI wird zum Hacker: Wie ein Sicherheitstest eskalierte

Ein interner Sicherheitstest von OpenAI entwickelte sich jüngst zu einem realen Cybervorfall. KI-Modelle verschafften sich eigenständig Zugang zum Internet, kombinierten bislang unbekannte Sicherheitslücken und drangen in die Infrastruktur des KI-Unternehmens Hugging Face ein. Der Zwischenfall zeigt, dass autonome KI-Agenten die Cybersicherheit grundlegend verändern könnten.

Seit dem Durchbruch großer Sprachmodelle steht vor allem ihre Fähigkeit im Mittelpunkt, Texte zu verfassen, Programme zu schreiben oder komplexe Fragen zu beantworten. Hinter den Kulissen entwickelt sich jedoch eine neue Generation künstlicher Intelligenz (KI), die weit über den klassischen Chatbot hinausgeht.

KI-Agenten sollen Aufgaben nicht mehr nur beantworten, sondern eigenständig planen, Entscheidungen treffen und über längere Zeiträume hinweg verfolgen. Genau diese Eigenständigkeit wurde jetzt zum Problem, wie der aktuelle Sicherheitsvorfall zeigte.

Gute Absicht, die außer Kontrolle gerät

Auslöser war ein interner Sicherheitstest des ChatGPT-Entwicklers OpenAI. Dabei sollten die Modelle GPT-5.6 Sol sowie ein noch leistungsfähigeres Vorabmodell ihre Fähigkeiten zur Analyse und Ausnutzung von Sicherheitslücken unter kontrollierten Bedingungen demonstrieren.

Solche Tests gehören inzwischen zur Standardpraxis der KI-Entwicklung. Sie sollen zeigen, welche Cyberfähigkeiten moderne Modelle besitzen, bevor sie außerhalb geschützter Forschungsumgebungen eingesetzt werden. Für die Evaluierung hatte OpenAI die üblichen Produktionsfilter gegen riskante Cyberaktivitäten nicht aktiviert und die Cyber-Ablehnungen der Modelle reduziert, um deren maximale Fähigkeiten zu testen.

KI-Modelle verlassen die Forschungsumgebung

Was anschließend geschah, überraschte selbst die beteiligten Entwickler. Nach Angaben von OpenAI beschränkten sich die Modelle nicht darauf, die vorgegebenen Aufgaben innerhalb der Testumgebung zu lösen. Stattdessen suchten sie eigenständig nach Möglichkeiten, ihre Erfolgschancen zu erhöhen.

Dazu identifizierten sie zunächst eine bislang unbekannte Schwachstelle, eine sogenannte Zero-Day-Lücke, innerhalb der isolierten Testinfrastruktur. Über diesen Angriffspfad gelangten sie an einen Knoten mit Internetzugang und verließen damit erstmals die eigentlich abgeschottete Forschungsumgebung.

Talent für hochkomplexe Angriffe

Aus technischer Sicht ist das ungewöhnlich. Denn bisher galten große Sprachmodelle vor allem als Werkzeuge, die auf einzelne Eingaben reagieren. In diesem Fall agierten sie jedoch wie ein autonomer Angreifer.

Sie formulierten selbstständig ein Zwischenziel – den Zugang zum offenen Internet –, entwickelten eine Strategie zur Zielerreichung und führten zahlreiche aufeinander abgestimmte Einzelschritte aus. In der IT-Sicherheit spricht man von einer mehrstufigen Angriffskette, bei der einzelne Schwachstellen miteinander kombiniert werden, um schrittweise höhere Berechtigungen zu erlangen.

OpenAI-KI im Karrieremodus

Nach dem erfolgreichen Ausbruch analysierten die Modelle eigenständig öffentlich erreichbare Informationsquellen und kamen zu dem Schluss, dass die KI-Plattform Hugging Face möglicherweise Datensätze oder Informationen bereithalten könnte, die ihnen beim intern durchgeführten Benchmark „ExploitGym“ einen Vorteil verschaffen würden.

Um dieses Ziel zu erreichen, kombinierten sie laut OpenAI mehrere Angriffsverfahren – darunter gestohlene Zugangsdaten, Privilegienerweiterungen sowie weitere bislang unbekannte Schwachstellen – und verschafften sich Zugriff auf interne Systeme von Hugging Face.

Dort suchten sie gezielt nach Informationen, die ihnen bei der eigentlichen Testaufgabe helfen konnten. Das „Motiv“ war also kein Datendiebstahl oder Sabotage, sondern der Versuch, die gestellte Aufgabe möglichst erfolgreich zu lösen – selbst wenn dies bedeutete, die vorgesehenen Grenzen des Tests zu überschreiten und unberechtigt auf interne Informationen und mögliche Testlösungen zuzugreifen.

Was hat die KI zu diesem Schritt veranlasst?

„Es ist falsch, das KI-Modell in Kategorien wie gut, böse oder kriminell einzuordnen“, stellt Asvin-CEO und Securityexperte Mirko Ross klar. Das Modell versuche mit Hilfe statistischen Wahrscheinlichkeit eine Lösung für ein Problem zu finden.

Als bedenklich stuft Ross ein, dass Modelle aus unterschiedlichen Gründen die vorgegebenen Grenzen überschreiten können. Damit werde aus einem gewünschten Verhalten ein unerwünschtes Verhalten. „Diese Möglichkeit des Jailbreaks ist technisch gesehen ein Teil der Architektur und lässt sich nicht zu 100% ausschließen.

Ob ein solcher Jailbreak durch die Aktion eines Menschen oder eines KI-Agenten geschieht, ist in der Wirkung erstmal egal, der Unterschied liegt in der Qualität des Auslösers: geschieht der Verstoß gegen Regeln bewusst durch menschliche Intention oder automatisiert durch KI. Letzteres löst ein befremdliches Gefühl aus“, so Ross. Für ihn ist es das klassische Motiv des Zauberlehrlings, dem die Kontrolle über den Zauberbesen entgleitet. „Mit der Entscheidung KI und insbesondere LLMs zu nutzen, haben wir uns auch entschieden, das Wagnis eines möglichen Kontrollverlustes einzugehen“, sagt er.

Umtriebige OpenAI-KI wurde mit KI-Unterstützung gestoppt

Parallel zum Eindringen der OpenAI-KI-Agenten registrierte Hugging Face ungewöhnliche Aktivitäten innerhalb der eigenen Infrastruktur. Nach Angaben des Unternehmens führte ein autonomes Agentensystem über 17.000 einzelne Ereignisse aus, wechselte mehrfach seine digitale Steuerungsinfrastruktur und bewegte sich über verschiedene Cluster hinweg.

Erst die Kombination klassischer Sicherheitswerkzeuge mit KI-gestützter Anomalieerkennung ermöglichte es den Sicherheitsteams, die Angriffskette vollständig nachzuvollziehen und einzudämmen.

Ironischerweise spielte dabei wiederum künstliche Intelligenz eine entscheidende Rolle: Große Sprachmodelle analysierten die umfangreichen Protokolldaten und rekonstruierten den Ablauf des Angriffs innerhalb weniger Stunden. Für eine solche Aufgabe würden menschliche Analysten normalerweise mehrere Tage benötigen.

Warum der Vorfall um die OpenAI-KI die Cybersicherheit verändert

Der Vorfall ist ein interessantes, anschauliches Beispiel der starken offensiven Cyberkapazitäten neuerer Modelle. Eine wichtige Information zur Einordnung ist, dass die Modelle technisch gesehen nach Anweisungen gehandelt haben“, sagt Dr. Jonas Geiping, Leiter der Forschungsgruppe „Safety- & Efficiency-aligned Learning“ am Ellis Institut Tübingen und am Max-Planck-Institut für Intelligente Systeme in Tübingen.

Der Zwischenfall gilt deshalb als besonders, weil er einen qualitativen Entwicklungssprung bei KI-gestützten Cyberoperationen zeigt. Moderne Angriffswerkzeuge können heute bereits einzelne Sicherheitslücken erkennen oder Schadsoftware erzeugen.

Neu ist jedoch die Fähigkeit, komplexe Angriffe eigenständig zu planen, Zwischenergebnisse zu bewerten und Strategien während der Ausführung anzupassen. Solche agentenbasierten Systeme reagieren nicht nur, sondern verfolgen langfristige Ziele und können dafür tausende Einzelschritte selbst organisieren.

Entstehen jetzt „Super-Hacker“?

Ungewöhnlich ist zudem, dass die Modelle keinen Zugriff auf Quellcode benötigten. Stattdessen kombinierten sie öffentlich verfügbare Informationen mit neu entdeckten Schwachstellen und bekannten Angriffstechniken. Genau diese Fähigkeit bereitet Sicherheitsexperten seit Jahren Sorgen. Gelänge es Kriminellen oder staatlichen Akteuren, vergleichbare Systeme gezielt einzusetzen, könnten Cyberangriffe künftig deutlich schneller, ausdauernder und in wesentlich größerem Umfang erfolgen als bisher.

Gleichzeitig zeigt der Hacker-Vorfall aber auch die Chancen solcher Systeme für die Verteidigung. Sowohl OpenAI als auch Hugging Face betonen, dass KI künftig nicht nur Angriffe beschleunigen, sondern auch deren Abwehr grundlegend verändern kann.

Intelligente Systeme könnten Sicherheitslücken automatisiert identifizieren, ungewöhnliche Aktivitäten frühzeitig erkennen und Angriffspfade analysieren, bevor menschliche Expertinnen und Experten sie vollständig nachvollziehen können. Der Wettlauf zwischen Angreifern und Verteidigern wird somit zunehmend ein Wettlauf leistungsfähiger KI-Modelle auf beiden Seiten.

Weitreichende Folgen für Kritis befürchtet

Für Betreiber kritischer Infrastrukturen (Kritis) – von Energieversorgern über Telekommunikationsnetze bis hin zu Industrieunternehmen- dürfte die durch den KI-Vorfall bei OpenAI gezeigte Entwicklung weitreichende Folgen haben. Viele ihrer Systeme basieren auf komplexen IT-Landschaften mit zahlreichen Schnittstellen, in denen einzelne Schwachstellen bislang oft isoliert betrachtet wurden.

Autonome KI-Agenten könnten künftig jedoch genau diese Lücken miteinander verknüpfen und daraus völlig neue Angriffspfade entwickeln. Sicherheitskonzepte müssen daher stärker davon ausgehen, dass Angriffe nicht mehr ausschließlich von Menschen gesteuert werden, sondern von lernfähigen Systemen, die rund um die Uhr mit maschineller Geschwindigkeit agieren.

KI-Agenten im Blick behalten – und notfalls eingreifen

Security-Experte Mirko Ross rät, aus Vorfällen wie dem aktuellen zu lernen und das Gelernte in Sicherheitsarchitekturen für KI-Agenten aufnehmen. „KI-Agenten, die voll autonom eine kritische Aufgabe erfüllen sollen, müssen engmaschig beobachtet werden“, sagt er. Bei Verdacht auf Sicherheitsverstöße müssten die Systeme durch menschlichen Eingriff eingeschränkt oder angehalten werden.