Neue Methode soll mehr Vertrauen in KI schaffen
KI-Systeme sind in der Lage, selbstständig zu lernen. Hindernis dabei können sogenannte Confounders sein, die auch als Clever-Hans-Phänomen bekannt sind. Das bedeutet: KI lernt aus falschen Gründen, die richtigen Schlüsse zu ziehen. Wie man das umgeht, hat ein Forscherteam der Technischen Universität Darmstadt herausgefunden.
Forscher sehen große Vorteile in einer neuen Methode des interaktiven Lernens für KI, bei der auch Fachleute eingebunden sind.
Foto: panthermedia.net/Gudrun Best
Das Clever-Hans-Phänomen geht auf ein Pferd zurück, das Anfang des vergangenen Jahrhunderts angeblich rechnen konnte. Tatsächlich war es in der Lage, anhand der Körpersprache des Fragestellers richtige Antwort abzulesen. Das bedeutet übertragen auf KI, ein System lernt zwar, die richtigen Schlüsse zu ziehen. Die ursächlichen Gründe dafür sind aber falsch.
Ein Beispiel: Man will mit künstlicher Intelligenz erreichen, dass das System auf Fotos ein Pferd erkennt. Als Training dienen mehrere tausend Aufnahmen von Pferden. Irgendwann ist KI in der Lage, auch auf unbekannten Aufnahmen dieses Tier zu identifizieren. Wie genau KI zum Ergebnis kam, ist aber unklar. Nun stellte sich etwa heraus, dass bei den Fotos in einer Ecke immer eine Information zum Copyright mit einem Link auf eine Pferde-Website war. Das Copyright ist dafür da, denjenigen zu schützen, der das Recht an der wirtschaftlichen Verwertung des Werkes zu besitzen.
Störfaktoren schränken die Anwendbarkeit von KI ein
Mit dieser Hilfe hat es sich KI sehr einfach gemacht. Die Copyright-Angabe war praktisch der Lerninhalt. Wissenschaftler bezeichnen solche Dinge als sogenannte Confounders, also Störfaktoren. Sie haben mit der eigentlichen Identifizierung nichts zu tun. Im Beispiel konnte das System tatsächlich bei Bildern ohne Copyright-Angabe die Pferde nicht mehr erkennen.
Wissenschaftler haben dieses Phänomen in den letzten Jahren relativ häufig nachgewiesen. Kristian Kersting, Professor für künstliche Intelligent und Maschinelles Lernen am Fachbereich Informatik der Technischen Universität (TU) Darmstadt, sieht darin ein großflächiges Problem, mit dem alle KI-Forschenden konfrontiert würden, weshalb seit einigen Jahren immer wieder der Wunsch aufkomme, KI erklärbarer zu gestalten.
KI funktioniert am besten in Kooperation mit Fachleuten
Kersting hat gemeinsam mit seinem Team eine Lösung entwickelt: interaktives Lernen. Wissenschaftler binden Fachleute in den Lernprozess mit ein. Um zu verstehen, was KI macht, muss sie die Fachleute über das aktive Lernen und dessen Inhalte informieren. Zugleich muss eine Erklärung erfolgen, wie KI aus dieser Information eine Voraussage ableitet. Diese beiden Fakten können Forscher mit entsprechender Expertise prüfen.
Bei der Prüfung kann es zu drei Ergebnissen kommen. Erstens, die Voraussage ist falsch, KI ist aber in der Lage, neue Regeln zu lernen. Zweitens, Voraussagen und Erklärung sind richtig. In diesem Fall gibt es für die Experten nichts weiter zu tun. Drittens kann die Voraussage richtig sein, die Erklärung jedoch falsch. Wie können Wissenschaftler einer künstlichen Intelligenz klar machen, dass die Erklärung falsch ist und ein neuer Ansatz erforderlich ist?
Tests von KI-Systemen mit Beispieldaten
Für diese Frage gibt es bereits eine Antwort, in Form einer Strategie – das sogenannte Explanatory Interactive Leaning (XIL). Das Prinzip dahinter: Ein KI-Experte füttert das System mit Beispieldaten. Aus ihnen muss klar hervorgehen, dass die bisher angenommenen Unterscheidungsmerkmale keine Rolle spielen. Man zeigt KI also absichtlich die Confounders.
Bei dem eingangs erwähnten Beispiel würde dies bedeuten: KI zeigt an, dass die Copyright-Daten bei einer Analyse von Bedeutung sind. Die Fach-Experten müssten nun dem System Bilder zur Verfügung stellen, auf denen genau an der Stelle des Copyright-Vermerks zufällig andere Bildinformationen stehen. Dieses Training hätte zur Folge, dass KI die Copyright-Informationen als immer weniger relevant einschätzt.
Neue Methode soll mehr Vertrauen in KI schaffen
Genau diese Methode haben Forscher bei ihrer Testreihe eingesetzt. Gegenstand der Reihe war die Cercospora-Blattfleckenkrankheit. Sie schädigt Zuckerrüben und ist bereits weltweit verbreitet. Das System lernte zuerst, sich auf Bereiche in hyperspektralen Daten zu fokussieren, die nach Aussage einer Pflanzenexpertin nicht dafür ausschlaggebend seien, um die Schädigung zu identifizieren – auch wenn Voraussagen in diesem Zusammenhang zuverlässig erschienen.
Im zweiten Schritt setzten die Forscher die XIL-Methode ein. Die Trefferquote sank leicht, dafür zog das System aus den richtigen Gründen die richtigen Schlüsse. Das bedeute zwar in einigen Fällen, dass KI langsamer lerne, dafür aber langfristig gesehen die belastbareren Voraussagen liefere, so die Wissenschaftler. „Interaktion und Verständlichkeit sind für das Vertrauen in maschinelle Lernverfahren somit von zentraler Bedeutung“, sagt Kristian Kersting. Der Zusammenhang zwischen Interaktion, Erklärung und Vertrauensbildung sei bislang in der Forschung aber noch weitgehend ignoriert worden.
Mehr zum Thema KI:
Ein Beitrag von:
