Schnelle Validierung 23.10.2024, 12:20 Uhr

Halluziniert die KI? Neues Tool ermöglicht genaue Überprüfung

Das neue Tool „SymGen“ ermöglicht schnellere Verifizierung von KI-Texten, reduziert Fehler und stärkt das Vertrauen in KI-Ergebnisse durch gezielte Quellenprüfung.

halluzinierende KI

Nicht selten fängt generative KI an zu halluzinieren. Ein neues Tool soll dabei helfen zu erkennen, wenn die künstliche Intelligenz Quatsch erzählt.

Foto: PantherMedia / bestforbest (YAYMicro

Ein neues Tool namens SymGen, entwickelt von Forschenden des MIT, soll helfen, die Genauigkeit von KI-generierten Texten zu überprüfen. Es beschleunigt den Verifizierungsprozess, indem es Benutzenden erlaubt, gezielt Datenquellen zu identifizieren, auf die sich die KI stützt. Dies reduziert die Zeit für die Überprüfung um 20 %. Das Tool könnte die Zuverlässigkeit von KI-Anwendungen in Bereichen wie Gesundheitswesen und Finanzen erhöhen.

Künstliche Intelligenz und Halluzinationen: Was ist das Problem?

Trotz ihrer Fähigkeiten bleibt die künstliche Intelligenz (KI) nicht frei von Fehlern. Insbesondere große Sprachmodelle (LLMs) neigen dazu, „Halluzinationen“ zu haben. Diese Halluzinationen treten auf, wenn die KI falsche oder ungesicherte Informationen liefert.  Das ist problematisch, besonders in Bereichen, die hohe Genauigkeit erfordern, wie etwa im Gesundheitswesen oder im Finanzsektor. Um das Vertrauen in die KI zu stärken, wird deshalb häufig eine nachträgliche Prüfung durch Menschen nötig.

Die manuelle Überprüfung von KI-generierten Inhalten ist jedoch ein zeitraubender und fehleranfälliger Prozess. Häufig müssen Prüfer lange Dokumente durchsehen, die von der KI zitiert werden, um sicherzustellen, dass die Informationen korrekt sind. Dieser Aufwand schreckt viele Menschen ab, die generative KI-Systeme für ihre Arbeit zu nutzen. Die Folge: Das Potenzial der Technologie bleibt oft ungenutzt.

Neues Tool hilft bei der Faktenprüfung

Um die menschliche Überprüfung zu vereinfachen, hat ein Forschungsteam des MIT ein neues Tool entwickelt: SymGen. Dieses System ermöglicht eine schnellere Verifizierung der Antworten eines Sprachmodells. Das Tool funktioniert, indem es Quellenangaben direkt in die Antworten der KI integriert. So können Benutzende genau nachvollziehen, auf welche Daten sich die KI stützt.

Stellenangebote im Bereich Softwareentwicklung

Softwareentwicklung Jobs
über ifp | Executive Search. Management Diagnostik.-Firmenlogo
Produktionsleiter:in über ifp | Executive Search. Management Diagnostik.
Truma Gerätetechnik GmbH & Co. KG-Firmenlogo
Elektroniker (m/w/d) im Bereich Fahrzeugelektronik Truma Gerätetechnik GmbH & Co. KG
Putzbrunn Zum Job 
Netzgesellschaft Potsdam GmbH-Firmenlogo
Ingenieur Strategische Netzplanung (m/w/d) für Strom, Datennetze, Infokabel, 450 MHz Netzgesellschaft Potsdam GmbH
Potsdam Zum Job 
Netzgesellschaft Potsdam GmbH-Firmenlogo
Betriebsingenieur (m/w/d) Elektrotechnik/Energietechnik für die Niederspannung bzw. Hochspannung Netzgesellschaft Potsdam GmbH
Potsdam Zum Job 
BG ETEM-Firmenlogo
Dipl.-Ing. (Uni/TU/TH), M. Sc./Eng. (m/w/d) im Bereich Fachkompetenzcenter Elektrische Gefährdungen BG ETEM
Schleifring GmbH-Firmenlogo
Vertriebsingenieur (m/w/d) Schleifring GmbH
Fürstenfeldbruck Zum Job 
Deutsche Rentenversicherung Bund-Firmenlogo
Teamleiter*in Bauprojekte Elektrotechnik (m/w/div) Deutsche Rentenversicherung Bund
GIBY GmbH-Firmenlogo
Service Techniker (m/w/d) für Telekommunikationsnetze GIBY GmbH
Leipzig Zum Job 
TÜV Technische Überwachung Hessen GmbH-Firmenlogo
Sachverständiger Elektrotechnik / Ausbildung zum Sachverständigen Elektrotechnik (m/w/d) TÜV Technische Überwachung Hessen GmbH
Frankfurt am Main Zum Job 
TÜV Technische Überwachung Hessen GmbH-Firmenlogo
Ausbildung zum Prüfingenieur / Sachverständiger (m/w/d) für den Tätigkeitsbereich Fahrzeugprüfung und Fahrerlaubnisprüfung TÜV Technische Überwachung Hessen GmbH
Frankfurt am Main Zum Job 
Hamamatsu Photonics Deutschland GmbH-Firmenlogo
Vertriebsingenieur (m/w/d) Bereich Labor-, Prozess, und Umweltanalyse Hamamatsu Photonics Deutschland GmbH
Herrsching am Ammersee Zum Job 
Behörde für Stadtentwicklung und Wohnen`-Firmenlogo
Ingenieur:in Elektrotechnik, Maschinenbau, Versorgungstechnik, Bachelor / Dipl.-Ing. (FH) für den technischen Vorbereitungsdienst (TOIA) Behörde für Stadtentwicklung und Wohnen`
Hamburg Zum Job 
FEIG ELECTRONIC GmbH-Firmenlogo
(Senior-) Hardwareentwickler*in - Schaltungstechnik und Mikrocontroller, Sensorik FEIG ELECTRONIC GmbH
Weilburg Zum Job 
Stuttgart Netze GmbH-Firmenlogo
(Junior) Ingenieur Quartiersentwicklung Anschlussservice (w/m/d) Stuttgart Netze GmbH
Stuttgart Zum Job 
ATLAS TITAN Mitte GmbH-Firmenlogo
Projektleiter Leitungsbau Schutztechnik (m/w/d) ATLAS TITAN Mitte GmbH
ATLAS TITAN Mitte GmbH-Firmenlogo
Ingenieur Elektrotechnik (m/w/d) Schwerpunkt Automatisierungstechnik ATLAS TITAN Mitte GmbH
Braunschweig Zum Job 
SPITZKE SE GVZ Berlin Süd-Firmenlogo
Bauleiter Elektrotechnik (m/w/d) SPITZKE SE GVZ Berlin Süd
Großbeeren Zum Job 
Stadtwerke Schneverdingen-Neuenkirchen GmbH-Firmenlogo
Leitender Ingenieur (m/w/d) Netzbau und -betrieb Strom und Breitband Stadtwerke Schneverdingen-Neuenkirchen GmbH
Schneverdingen Zum Job 
Agile Robots SE-Firmenlogo
Senior Projektingenieur - Industrial Automation (m/w/d) Agile Robots SE
München Zum Job 
TEGEL PROJEKT GMBH-Firmenlogo
Ingenieur*in als Projektsteuerer*in für Versorgungstechnik / Technische Gebäudeausrüstung (TGA) (m/w/d) TEGEL PROJEKT GMBH

„Wir geben den Menschen die Möglichkeit, sich selektiv auf die Textteile zu konzentrieren, die sie genauer untersuchen müssen“, erklärt Shannon Shen, Mitentwickler von SymGen. Das Ziel sei es, den Benutzenden mehr Vertrauen in die Antworten der KI zu geben, indem sie die zugrundeliegenden Daten leicht überprüfen können.

Wie funktioniert SymGen?

Das Tool hebt die Textstellen in einer KI-Antwort hervor, die direkt mit einer Datenquelle verknüpft sind. Dies ermöglicht den Benutzenden, schnell die Originaldaten einzusehen, die zur Generierung des Textes verwendet wurden. Gleichzeitig werden die nicht hervorgehobenen Teile der Antwort markiert, um anzuzeigen, dass diese Bereiche möglicherweise einer gründlicheren Überprüfung bedürfen.

„Letztendlich kann SymGen den Menschen mehr Vertrauen in die Antworten eines Modells geben, da sie einfach einen genaueren Blick darauf werfen können, um sicherzustellen, dass die Informationen verifiziert sind“, betont Shen. Durch diesen Ansatz verkürzt sich die Zeit für die Verifizierung um die bereits erwähnten 20 % im Vergleich zu herkömmlichen Methoden.

Symbolische Referenzen: Ein neuer Ansatz zur Validierung

Die Funktionsweise von SymGen basiert auf sogenannten symbolischen Referenzen. Bei der Generierung einer Antwort gibt das KI-Modell nicht nur den Text aus, sondern verweist auch auf die spezifische Zelle in einer Datenquelle, die die entsprechende Information enthält. Dies ermöglicht eine extrem präzise Verknüpfung zwischen den generierten Inhalten und den Originaldaten.

„Da wir diesen Zwischenschritt haben, bei dem der Text in einem symbolischen Format vorliegt, sind wir in der Lage, wirklich feinkörnige Referenzen zu haben“, erläutert Lucas Torroba Hennigen, Mitautor der Studie. Das bedeutet, dass für jede Textstelle genau nachverfolgt werden kann, woher die Informationen stammen.

SymGen löst diese symbolischen Referenzen schließlich auf, indem es den relevanten Text aus der Datenquelle direkt in die Antwort des Modells einfügt. So ist gewährleistet, dass die betreffenden Daten korrekt übernommen werden.

Vorteile und Grenzen von SymGen

Ein großer Vorteil von SymGen ist die Geschwindigkeit und Präzision, mit der Verifizierungen durchgeführt werden können. Die Studie zeigte, dass SymGen die Überprüfung von KI-generierten Inhalten wesentlich  schneller macht. Dies könnte insbesondere in zeitkritischen Bereichen wie dem Gesundheitswesen und der Finanzwelt von großem Nutzen sein.

Jedoch gibt es auch Einschränkungen. Die Qualität der Datenquellen ist entscheidend für die Zuverlässigkeit des Systems. Wenn das KI-Modell auf eine falsche Quelle zugreift, kann auch SymGen diesen Fehler nicht erkennen. Außerdem funktioniert das Tool bisher nur mit strukturierten Daten wie Tabellen, was den Anwendungsbereich einschränkt.

Zukünftige Entwicklungen

Die Forschenden planen, SymGen weiterzuentwickeln, um es mit verschiedenen Arten von Daten nutzbar zu machen. Ziel ist es, das Tool auch für die Verifizierung von freiem Text in Dokumenten einzusetzen. Dies könnte zum Beispiel helfen, juristische oder medizinische Texte effizient zu prüfen.

„Generative KI soll die Zeit, die der Benutzer für die Erledigung einer Aufgabe benötigt, verkürzen“, erklärt Shen. Mit Werkzeugen wie SymGen könnte dieses Ziel Realität werden, ohne die Genauigkeit der Ergebnisse zu gefährden.

Hier geht es zur Originalpublikation

Ein Beitrag von:

  • Dominik Hochwarth

    Redakteur beim VDI Verlag. Nach dem Studium absolvierte er eine Ausbildung zum Online-Redakteur, es folgten ein Volontariat und jeweils 10 Jahre als Webtexter für eine Internetagentur und einen Onlineshop. Seit September 2022 schreibt er für ingenieur.de.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.