Wenn KI-Code unkontrolliert ins Spiel kommt, wächst das Risiko
Mit dem Einsatz generativer KI-Modelle wächst eine neue Herausforderung: sogenannte „Schatten-KI“. Denn Mitarbeitende nutzen verstärkt ChatGPT und Co., um zu programmieren. Oft ohne Wissen und Zustimmung des Unternehmens. Die Sicherheitsrisiken sind beträchtlich.
Beim unbedarften Programmieren mit eigenen KI-Tools entsteht eine gefährliche Schatten-KI.
Foto: Smarterpix / freedomtumz
Beliebt ist der Einsatz solcher KI-Modelle bei Mitarbeitenden zum Beispiel, um eine Anwendung mit quelloffenen Schnittstellen zu erstellen. Durch solche Schatten-KI entsteht dann KI-generierter oder KI-unterstützter Programmcode außerhalb etablierter Prozesse und gelangt sogar in Produktionsumgebungen.
Unternehmen profitieren zwar von schnelleren Entwicklungszyklen und effizienteren Abläufen, müssen aber mit deutlichen „Nachwehen“ rechnen. Denn nicht selten entstehen durch unprofessionell erstellte Codeschnipsel Sicherheitslücken, die dann von Hackern und Cyberkriminellen ausgenutzt werden können. Experten gehen davon aus, das 62 % aller KI-generierten Codes fehlerhaft oder verwundbar sind.
Vor diesem Hintergrund wächst der Bedarf an neuen Sicherheitsstrategien. Nicht die vollständige Verbannung von KI ist gefragt, sondern ihre konsequente Einbindung und beherrschte Nutzung. Ein solcher Ansatz beginnt beim sogenannten Prompt-Management: Wer darf generell KI-Tools zur Programmierung nutzen? Welche Bibliotheken und Modelle sind zugelassen? Was darf bearbeitet werden? Welche Sicherheits- und Compliance-Standards gelten?
Bereits bei der Codegenerierung durch KI-Assistenten muss klar sein, wie der erzeugte Code in die etablierten Sicherheitsprozesse eingebettet wird – mit statischer Codeanalyse (SAST), Analyse der Softwarezusammensetzung (SCA) und Überwachung möglicher Geheimnisse oder Bibliotheksabhängigkeiten. Denn nur so lässt sich verhindern, dass KI-Code unbeachtet Risiken erzeugt.
Wenn KI Teil der Sicherheitsarchitektur wird
Die Probleme bleiben jedoch greifbar: Unkontrolliert eingesetzte KI-Werkzeuge können Sicherheitslücken reproduzieren, die eigentlich bereits als bekannt gelten – oder Altlasten erzeugen, die erst Jahre später sichtbar werden. Security-Teams stehen vor einer Form von „unsichtbarem“ Risiko, weil KI Tools und Modelle einsetzt, deren Einsatz nicht vollständig nachvollziehbar ist. Das wissen auch Security-Hersteller. So hat das Unternehmen Cycode jetzt neue Lösungen angekündigt, mit denen die Schatten-KI adressiert werden soll.
Cycode bietet mit seiner Plattform unter anderem eine KI- und ML-Inventarisierung („AI & ML Inventory“) sowie ein sogenanntes „AI Bill of Materials“ (AIBOM) an. Diese Tools identifizieren automatisch, ob Entwickler KI-Coding-Assistenten nutzen, ob ein Modell-Server (Model Context Protocol, MCP) verbunden ist oder ob neue Modelle eingebunden wurden, und führen jeden dieser Bestandteile zurück bis ins Repository- oder Deployment-Umfeld von Entwicklungsumgebungen. Ein wesentlicher Aspekt dieser Strategie ist, dass KI-Code nicht länger als exotisches Element betrachtet wird, sondern als integraler Bestandteil des Softwareentwicklungsprozesses – von der Ideengenerierung über den Code bis zur Produktion.
Schatten-KI: Regulierung, Standards und definierte Prozesse erforderlich
Die Entwicklung wird weitergehen: Denn es ist nicht von auszugehen, dass Schatten-KI verschwindet. Vermutlich wird sie Bestandteil im Alltag von Entwicklungsteams bleiben – gerade weil sie Produktivität und Innovation fördert. Das bedeutet jedoch: Die Sicherheitsarchitektur muss sich parallel weiterentwickeln. Es braucht neue Standards für KI-erzeugten Code, die Einbettung in CI/CD-Pipelines sowie Richtlinien für Anbieter und Entwickler gleichermaßen.
Es gilt außerdem, die Fähigkeiten von Entwicklerinnen und Entwicklern im Umgang mit KI-Assistenztools zu stärken. Unternehmen sollten nicht erst nach einem Sicherheitsvorfall reagieren, sondern proaktiv handeln. Wer erst dann startet, wird hohe Kosten für Nachbereitung, Reputationsverlust oder regulatorische Konsequenzen tragen. Vielversprechender ist der Ansatz, den Wandel früh mitzugestalten, Sicherheit mitzudenken und die Mitarbeitenden entsprechend zu schulen.
Ein Beitrag von:
