Halluziniert die KI? Neues Tool ermöglicht genaue Überprüfung

Ein neues Tool namens SymGen, entwickelt von Forschenden des MIT, soll helfen, die Genauigkeit von KI-generierten Texten zu überprüfen. Es beschleunigt den Verifizierungsprozess, indem es Benutzenden erlaubt, gezielt Datenquellen zu identifizieren, auf die sich die KI stützt. Dies reduziert die Zeit für die Überprüfung um 20 %. Das Tool könnte die Zuverlässigkeit von KI-Anwendungen in Bereichen wie Gesundheitswesen und Finanzen erhöhen.

Künstliche Intelligenz und Halluzinationen: Was ist das Problem?

Trotz ihrer Fähigkeiten bleibt die künstliche Intelligenz (KI) nicht frei von Fehlern. Insbesondere große Sprachmodelle (LLMs) neigen dazu, „Halluzinationen“ zu haben. Diese Halluzinationen treten auf, wenn die KI falsche oder ungesicherte Informationen liefert.  Das ist problematisch, besonders in Bereichen, die hohe Genauigkeit erfordern, wie etwa im Gesundheitswesen oder im Finanzsektor. Um das Vertrauen in die KI zu stärken, wird deshalb häufig eine nachträgliche Prüfung durch Menschen nötig.

Die manuelle Überprüfung von KI-generierten Inhalten ist jedoch ein zeitraubender und fehleranfälliger Prozess. Häufig müssen Prüfer lange Dokumente durchsehen, die von der KI zitiert werden, um sicherzustellen, dass die Informationen korrekt sind. Dieser Aufwand schreckt viele Menschen ab, die generative KI-Systeme für ihre Arbeit zu nutzen. Die Folge: Das Potenzial der Technologie bleibt oft ungenutzt.

Neues Tool hilft bei der Faktenprüfung

Um die menschliche Überprüfung zu vereinfachen, hat ein Forschungsteam des MIT ein neues Tool entwickelt: SymGen. Dieses System ermöglicht eine schnellere Verifizierung der Antworten eines Sprachmodells. Das Tool funktioniert, indem es Quellenangaben direkt in die Antworten der KI integriert. So können Benutzende genau nachvollziehen, auf welche Daten sich die KI stützt.

„Wir geben den Menschen die Möglichkeit, sich selektiv auf die Textteile zu konzentrieren, die sie genauer untersuchen müssen“, erklärt Shannon Shen, Mitentwickler von SymGen. Das Ziel sei es, den Benutzenden mehr Vertrauen in die Antworten der KI zu geben, indem sie die zugrundeliegenden Daten leicht überprüfen können.

Wie funktioniert SymGen?

Das Tool hebt die Textstellen in einer KI-Antwort hervor, die direkt mit einer Datenquelle verknüpft sind. Dies ermöglicht den Benutzenden, schnell die Originaldaten einzusehen, die zur Generierung des Textes verwendet wurden. Gleichzeitig werden die nicht hervorgehobenen Teile der Antwort markiert, um anzuzeigen, dass diese Bereiche möglicherweise einer gründlicheren Überprüfung bedürfen.

„Letztendlich kann SymGen den Menschen mehr Vertrauen in die Antworten eines Modells geben, da sie einfach einen genaueren Blick darauf werfen können, um sicherzustellen, dass die Informationen verifiziert sind“, betont Shen. Durch diesen Ansatz verkürzt sich die Zeit für die Verifizierung um die bereits erwähnten 20 % im Vergleich zu herkömmlichen Methoden.

Symbolische Referenzen: Ein neuer Ansatz zur Validierung

Die Funktionsweise von SymGen basiert auf sogenannten symbolischen Referenzen. Bei der Generierung einer Antwort gibt das KI-Modell nicht nur den Text aus, sondern verweist auch auf die spezifische Zelle in einer Datenquelle, die die entsprechende Information enthält. Dies ermöglicht eine extrem präzise Verknüpfung zwischen den generierten Inhalten und den Originaldaten.

„Da wir diesen Zwischenschritt haben, bei dem der Text in einem symbolischen Format vorliegt, sind wir in der Lage, wirklich feinkörnige Referenzen zu haben“, erläutert Lucas Torroba Hennigen, Mitautor der Studie. Das bedeutet, dass für jede Textstelle genau nachverfolgt werden kann, woher die Informationen stammen.

SymGen löst diese symbolischen Referenzen schließlich auf, indem es den relevanten Text aus der Datenquelle direkt in die Antwort des Modells einfügt. So ist gewährleistet, dass die betreffenden Daten korrekt übernommen werden.

Vorteile und Grenzen von SymGen

Ein großer Vorteil von SymGen ist die Geschwindigkeit und Präzision, mit der Verifizierungen durchgeführt werden können. Die Studie zeigte, dass SymGen die Überprüfung von KI-generierten Inhalten wesentlich  schneller macht. Dies könnte insbesondere in zeitkritischen Bereichen wie dem Gesundheitswesen und der Finanzwelt von großem Nutzen sein.

Jedoch gibt es auch Einschränkungen. Die Qualität der Datenquellen ist entscheidend für die Zuverlässigkeit des Systems. Wenn das KI-Modell auf eine falsche Quelle zugreift, kann auch SymGen diesen Fehler nicht erkennen. Außerdem funktioniert das Tool bisher nur mit strukturierten Daten wie Tabellen, was den Anwendungsbereich einschränkt.

Zukünftige Entwicklungen

Die Forschenden planen, SymGen weiterzuentwickeln, um es mit verschiedenen Arten von Daten nutzbar zu machen. Ziel ist es, das Tool auch für die Verifizierung von freiem Text in Dokumenten einzusetzen. Dies könnte zum Beispiel helfen, juristische oder medizinische Texte effizient zu prüfen.

„Generative KI soll die Zeit, die der Benutzer für die Erledigung einer Aufgabe benötigt, verkürzen“, erklärt Shen. Mit Werkzeugen wie SymGen könnte dieses Ziel Realität werden, ohne die Genauigkeit der Ergebnisse zu gefährden.

Hier geht es zur Originalpublikation