KI erkennt Tumore, doch wer kontrolliert eigentlich die Algorithmen?
Künstliche Intelligenz hält Einzug in Krankenhäuser. Doch die entscheidende Frage lautet nicht mehr, was sie kann – sondern wer sie kontrolliert.
KI erkennt Tumore und unterstützt Therapien. Doch Sicherheit, Regulierung und Evidenz werden zur größten Herausforderung der Medizintechnik.
Foto: Smarterpix / perig76
Künstliche Intelligenz hält zunehmend Einzug in die Medizin. Sie erkennt Tumore auf Röntgenbildern, analysiert EKG-Daten, unterstützt Ärztinnen und Ärzte bei Therapieentscheidungen oder überwacht Patientinnen und Patienten auf Intensivstationen. Die technologischen Möglichkeiten wachsen rasant. Doch während in vielen Branchen vor allem über Innovation und Effizienz diskutiert wird, stehen im Gesundheitswesen andere Fragen im Mittelpunkt: Ist die KI sicher? Funktioniert sie zuverlässig? Wer trägt die Verantwortung, wenn sie Fehler macht?
An dieser Schnittstelle zwischen Technologie, Patientensicherheit und Regulierung entsteht derzeit ein neues Berufsfeld. Die Dresden International University (DIU) hat deshalb einen MBA-Studiengang „AI, Regulatory Affairs & Transformation in Medical Technology“ angekündigt. Die Initiative greift einen Trend auf, der die gesamte Medizintechnikbranche prägt: Wer KI erfolgreich in die Versorgung bringen will, muss regulatorische Anforderungen, wissenschaftliche Evidenz und digitale Transformation gleichermaßen beherrschen.
KI-Realität statt Zukunftsmusik
Dabei geht es längst nicht mehr um langfristiges Denken. KI-Anwendungen sind bereits in vielen Bereichen des Gesundheitswesens angekommen. Besonders weit verbreitet sind Systeme zur Bildanalyse in der Radiologie, Pathologie oder Dermatologie. Hinzu kommen Unterstützungssysteme für klinische Entscheidungen, digitale Diagnostiklösungen sowie intelligente Überwachungs- und Frühwarnsysteme. Viele dieser Anwendungen fallen unter die Kategorie „Software as a Medical Device“ (SaMD), also Software, die selbst als Medizinprodukt gilt.
Der entscheidende Unterschied zu herkömmlicher KI liegt in ihrer Zweckbestimmung. Eine Chatbot-Anwendung, die allgemeine Gesundheitsinformationen bereitstellt, unterliegt anderen Anforderungen als eine Software, die Ärzten konkrete Diagnosevorschläge liefert oder Therapieentscheidungen unterstützt. Sobald eine Anwendung medizinische Zwecke erfüllt und Einfluss auf die Versorgung von Patientinnen und Patienten nehmen kann, greifen die strengen Regelungen des Medizinprodukterechts.
Patientensicherheit kommt vor Innovation
Die spezielle Regulierung hat einen einfachen Grund: Fehler können unmittelbare gesundheitliche Folgen haben. Während ein fehlerhafter Produkttipp im Onlinehandel meist nur ärgerlich ist, kann eine falsche Diagnose lebensbedrohliche Konsequenzen nach sich ziehen.
Deshalb unterliegen KI-basierte Medizinprodukte bereits heute der europäischen Medizinprodukteverordnung (MDR) beziehungsweise bei In-vitro-Diagnostika der IVDR. Gleichzeitig kommt mit dem europäischen AI Act ein weiteres Regelwerk hinzu, das speziell auf künstliche Intelligenz zugeschnitten ist. Beide Regelwerke verfolgen unterschiedliche Ziele, greifen jedoch zunehmend ineinander. Während die MDR sich an Sicherheit und Leistungsfähigkeit von Medizinprodukten richtet, definiert der AI Act zusätzliche Anforderungen an Transparenz, Datenqualität, menschliche Aufsicht und Risikomanagement von KI-Systemen.
Viele KI-Anwendungen im Gesundheitswesen gelten deshalb als Hochrisikosysteme. Besonders betroffen sind diagnostische Bildanalysen, klinische Entscheidungsunterstützungssysteme oder KI-gestützte Frühwarnsysteme. Herstellerfirmen müssen umfangreiche Nachweise erbringen, bevor solche Produkte auf den Markt gelangen dürfen.
Wissenschaftliche Evidenz wird zur harten Währung
Nur – Regulierung allein genügt nicht. Eine KI kann technisch beeindruckend sein und dennoch keinen klinischen Nutzen bieten. Deshalb gewinnt der Nachweis wissenschaftlicher Evidenz zunehmend an Bedeutung.
Herstellerunternehmen müssen belegen, dass ihre Systeme nicht nur funktionieren, sondern tatsächlich einen Mehrwert für Patientinnen und Patienten schaffen. Dazu gehören klinische Studien, Leistungsbewertungen und zunehmend auch Real-World-Daten aus dem Versorgungsalltag. Die Frage lautet nicht mehr allein, ob ein Algorithmus korrekt arbeitet, sondern ob sein Einsatz Diagnosen verbessert, Behandlungen unterstützt oder Prozesse sicherer macht.
Gerade bei dauerhaft lernenden Systemen gibt es besondere Herausforderungen. Klassische Medizinprodukte wie zum Beispiel MRT- oder Röntgengeräte verändern sich nach ihrer Zulassung in der Regel nicht mehr grundlegend. KI-Systeme hingegen können durch neue Daten, Software-Updates oder veränderte Nutzungsmuster beeinflusst werden. So wird die Bewertung dynamischer. Die Branche spricht zunehmend von einem lebenszyklusorientierten Evidenzansatz, bei dem Sicherheit und Leistungsfähigkeit kontinuierlich überprüft werden müssen.
Für Unternehmen bedeutet das einen hohen organisatorischen Aufwand. Gleichzeitig entwickelt sich Evidenz zum Wettbewerbsfaktor. Wer belastbare Daten vorweisen kann, schafft Vertrauen bei Kliniken, Behörden und Anwendern.
Die eigentliche Herausforderung beginnt nach der Zulassung
Oft wird die Zulassung eines Medizinprodukts als Zielpunkt betrachtet. Bei KI-Systemen markiert sie jedoch eher den Beginn eines kontinuierlichen Überwachungsprozesses.
Nach dem Inverkehrbringen müssen Herstellerfirmen ihre Produkte dauerhaft beobachten. Sie müssen analysieren, ob unerwartete Risiken auftreten, ob Anwenderinnen und Anwender die Systeme korrekt nutzen und ob die erzielten Ergebnisse den Erwartungen entsprechen. Diese sogenannte Post-Market-Surveillance gehört mittlerweile zu den zentralen Aufgaben im Qualitätsmanagement moderner Medizinprodukte.
Besonders wichtig wird dabei der Faktor Mensch. Forschende der Technischen Universität Dresden weisen darauf hin, dass Risiken häufig nicht allein aus der Technologie selbst entstehen, sondern aus der Interaktion zwischen Mensch und KI. Wenn medizinisches Personal einer Software blind vertraut oder Warnhinweise ignoriert, können trotz technisch korrekter Systeme Fehlentscheidungen entstehen. Deshalb rückt der „Faktor Mensch“ zunehmend in den Fokus regulatorischer Bewertungen.
Die Dresdner Forschenden fordern, menschliche Einflussfaktoren künftig systematischer in die Bewertung von KI-basierten Technologien einzubeziehen. Ziel ist es, vermeidbare Risiken zu reduzieren und gleichzeitig sichere Entwicklungen zu fördern.
Wenn KI selbstständig handelt
Noch komplexer wird die Situation durch die Entwicklung autonomer KI-Agenten. Anders als klassische Algorithmen können solche Systeme eigenständig Aufgaben planen, Entscheidungen vorbereiten und Handlungsabläufe koordinieren.
Im Gesundheitswesen könnten sie künftig beispielsweise diagnostische Informationen sammeln, Untersuchungen priorisieren oder Therapieempfehlungen vorbereiten. Damit entstehen jedoch neue Fragen. Bestehende Regelwerke wurden überwiegend für klar definierte Medizinprodukte entwickelt. Autonome Systeme verändern ihre Arbeitsweise möglicherweise dynamisch und interagieren mit anderen digitalen Systemen.
Die Forschenden der TU Dresden sehen deshalb eine wachsende Lücke zwischen technologischen Möglichkeiten und bestehenden regulatorischen Rahmenbedingungen. Sie diskutieren bereits neue Ansätze, um auch zukünftige KI-Agenten sicher und nachvollziehbar regulieren zu können.
Neue Kompetenzen für eine neue Branche
Die Entwicklung zeigt, dass der Erfolg von KI in der Medizintechnik sich nicht allein in Softwareabteilungen oder Forschungslaboren entscheidet. Gefragt sind Fachkräfte, die technische Innovation, regulatorische Anforderungen, Qualitätsmanagement und klinische Evidenz zusammenbringen.
An diesem Punkt setzt der neue MBA der Dresden International University an. Das Programm verbindet Themen wie KI-gestützte Medizinprodukte, MDR, IVDR, AI Act, Qualitätsmanagement und digitale Transformation entlang des gesamten Produktlebenszyklus. Zielgruppe sind Fach- und Führungskräfte, die Neuheiten nicht nur entwickeln, sondern auch sicher und regelkonform in die Versorgung überführen wollen.
Die Branche befindet sich damit in einem grundlegenden Wandel. KI wird nicht mehr ausschließlich als Technologie verstanden, sondern zunehmend als Governance- und Managementaufgabe.
Wer regelt eigentlich was?
MDR – Medical Device Regulation:
Die europäische Medizinprodukteverordnung regelt Sicherheit, Leistungsfähigkeit und Zulassung von Medizinprodukten. Sie legt fest, wie Produkte klassifiziert werden und welche Nachweise Hersteller für die CE-Kennzeichnung erbringen müssen.
IVDR – In Vitro Diagnostic Regulation:
Sie gilt für diagnostische Produkte wie Labor- oder Testsysteme und stellt ähnliche Anforderungen wie die MDR.
EU AI Act:
Der AI Act ist die erste umfassende europäische KI-Regulierung. Er ergänzt bestehende Fachregelungen um Vorgaben für KI-Systeme, etwa zu Transparenz, Risikomanagement, Datenqualität und menschlicher Aufsicht.
Benannte Stellen:
Unabhängige Prüfstellen bewerten, ob ein Medizinprodukt die regulatorischen Anforderungen erfüllt. Für viele KI-basierte Medizinprodukte werden sie künftig zentrale Ansprechpartner für die Konformitätsbewertung.
Ein Beitrag von:
