Sechs Dimensionen für Vertrauen – und wie KI in allen scheitert
Wie können wir der Künstlichen Intelligenz (KI) mehr vertrauen? Forschende der Ruhr-Universität Bochum (RUB) und der Technischen Universität (TU) Dortmund haben sechs Dimensionen erarbeitet, in denen Vertrauen gemessen werden kann. Anhand dieser Kriterien wird deutlich, welche Schwachstellen KI heute noch hat und wie diese in Zukunft umgangen werden können.
Forschende definieren sechs Kriterien, um die Vertrauenswürdigkeit moderner KI-Systeme besser einschätzen zu können.
Foto: Smarterpix/P47900
Sprachmodelle, die auf Künstlicher Intelligenz basieren, antworten auf jede Frage, die man stellt, aber nicht immer mit der richtigen Antwort. Oftmals halluzinieren KIs, wie beispielsweise ChatGPT, oder es werden einfach Quellen erfunden und Links gefälscht. Für Nutzerinnen und Nutzer wäre es daher hilfreich zu wissen, wie vertrauenswürdig ein KI-System ist.
Wesentliche Schwachstellen von KI-Systemen
Im Fachjournal Topoi listen die Forschenden auf, welche sechs Kriterien erfüllt sein müssen, dass eine Vertrauensbasis aufgebaut werden kann. Daraus ergeben sich folgenden Schwachstellen, die KI-Systeme aktuell noch aufweisen:
- Mangelnde Transparenz
- Unsichere Modelle
- Fehlende Verpflichtbarkeit
- Virtuelle Interaktion
Sechs Dimensionen der Vertrauenswürdigkeit
Ob ein bestimmtes KI-System vertrauenswürdig ist, kann man nicht einfach nur mit „Ja“ oder „Nein“ beantworten. Man sollte jedes System individuell beurteilen, anhand dessen wie ausgeprägt die sechs verschiedenen Dimensionen sind. So kann dann ein Profil der Vertrauenswürdigkeit erstellt werden.
- Objektive Funktionalität: Wie gut erledigt das System seine Kernaufgabe und wir die Qualität überprüft und garantiert?
- Transparenz: Wie transparent sind die Prozesse des Systems?
- Unsicherheit von zugrunde liegenden Daten und Modellen: Wie verlässlich und gesichert gegen Missbrauch sind Daten und Modelle?
- Verkörperung: In welchem Maße handelt es sich um ein verkörpertes oder ein virtuelles System?
- Unmittelbarkeit: In welchem Maße findet Austausch mit dem System statt?
- Verpflichtung: In welchem Maße kann das System eine Verpflichtung gegenüber dem Vertrauenden haben?
„Anhand dieser Kriterien kann man sichtbar machen, dass die Vertrauenswürdigkeit gegenwärtiger KI-Systeme – wie ChatGPT oder autonome Fahrzeuge – in den meisten Dimensionen noch starke Defizite aufweist“, so das Bochumer-Dortmunder Team. „Es wird zugleich deutlich, wo der Nachholbedarf besteht, wenn KI-Systeme eine hinreichende Vertrauenswürdigkeit erreichen sollen.“
Transparenz und Unsicherheit besonders kritisch
Aus technischer Sicht sind die Dimensionen Transparenz und Unsicherheit von zugrunde liegenden Daten entscheidend. Sie betreffen prinzipielle Defizite von KI-System.
„Das sogenannte deep learning produziert bei großen Datenmengen bemerkenswerte Leistungen. KI-Systeme sind zum Beispiel im Schach jedem Menschen überlegen“, erläutert Emmanuel Müller, Professor an der TU Dortmund. „Aber die zugrunde liegenden Prozesse sind für uns intransparent, wodurch bislang ein zentrales Defizit der Vertrauenswürdigkeit entsteht.“
Ähnlich verhält es sich mit der Unsicherheit von Daten und Modellen. Beispielsweise wird KI heutzutage vermehrt von Unternehmen eingesetzt, um Bewerbungen vorzusortieren. Problematisch ist dabei allerdings, dass in den Trainingsdaten der KI Vorurteile stecken, die dann einfach reproduziert werden. Man muss daher immer vor Augen haben, dass eine KI nicht neutral ist und auf menschlichen Daten basiert – voller Vorurteile und stereotypischem Denken.
Halluzination als Hürde
Am Beispiel von ChatGPT kann man erkennen, dass das Sprachmodell zwar bei jeder Frage und Aufgabe eine klug klingende Antwort produziert, diese aber oftmals falsch ist.
„Das KI-System erfindet Informationen, ohne dies sichtbar zu machen“, betont Albert Newen, Professor an der RUB. „KI-Systeme können und werden als Informationssysteme hilfreich sein, aber wir müssen lernen, sie stets mit kritischem Verstand zu betrachten und nicht blind zu vertrauen.“
Ein Beitrag von:
