Kunst des Verallgemeinerns 30.10.2023, 11:11 Uhr

Künstliche Intelligenz kann jetzt auch logisch denken

Bislang war Künstliche Intelligenz nicht gut darin, Dinge zu verallgemeinern und logische Verknüpfungen zu beachten. Das hat sich nun geändert. Forschende haben ein KI-System entwickelt, das solche Fähigkeiten aufweist und dabei sogar Menschen übertrifft.

logisch denken

KI hatte bislang Probleme, logische Zusammenhänge korrekt miteinander zu kombinieren.

Foto: Panthermedia.net/nndanko

Wenn ein Kind weiß, was die Worte „rückwärts“ und „hüpfen“ bedeuten, kann es problemlos auch rückwärts hüpfen. Für neuronale Netze schien dieses logische Denken bislang unerreichbar. Künstliche Intelligenz hatte stets Probleme, wenn es darum ging, bekannte Komponenten neu zu kombinieren und dabei logische Verknüpfungen zu beachten. Forschende der New York University und der Universität Pompeu Fabra in Barcelona haben jetzt ein neues Level im maschinellen Lernen erreicht und ein System entwickelt, das gelernte Konzepte ähnlich gut verallgemeinern kann wie wir Menschen.

Logische Umkehrschlüsse für KI häufig ein Problem

Die menschliche Sprache und das Denkvermögen entfalten ihre volle Kraft durch die systematische Kompositionalität, also die algebraische Kompetenz, neue Kombinationen aus bereits bekannten Bausteinen zu begreifen und zu kreieren. Schon in den späten 1980er Jahren waren Wissenschaftlerinnen und Wissenschaftler der Meinung, dass künstliche neuronale Netze über diese spezielle Fähigkeit nicht verfügten, und dementsprechend nicht als effektive Modelle für den menschlichen Geist fungieren könnten. Obwohl sich neuronale Netze in den vergangenen Jahren drastisch weiterentwickelt haben, bleibt die Herausforderung der Systematik nach wie vor ungelöst.

Top Stellenangebote

Zur Jobbörse
Energieversorgung Leverkusen GmbH & Co.KG-Firmenlogo
Technischer Netzanschlussplaner (m/w/d) Energieversorgung Leverkusen GmbH & Co.KG
Leverkusen Zum Job 
Christoph Schnorpfeil GmbH & Co. KG-Firmenlogo
Bauleiter (m/w/d) Christoph Schnorpfeil GmbH & Co. KG
Christoph Schnorpfeil GmbH & Co. KG-Firmenlogo
Kalkulator (m/w/d) Christoph Schnorpfeil GmbH & Co. KG
Energieversorgung Leverkusen GmbH & Co.KG-Firmenlogo
Ingenieur Versorgungstechnik/Energietechnik (m/w/d) Energieversorgung Leverkusen GmbH & Co.KG
Leverkusen Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur Straßenbau und Infrastruktur (w/m/d) Die Autobahn GmbH des Bundes
Kempten Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Projektleiter Bau und Erhaltung Straßenbau (w/m/d) Die Autobahn GmbH des Bundes
Kempten Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieur Elektrotechnik für Informationstechnik und -sicherheit (m/w/d) Die Autobahn GmbH des Bundes
München Zum Job 
Christoph Schnorpfeil GmbH & Co. KG-Firmenlogo
Bauabrechner (m/w/d) Christoph Schnorpfeil GmbH & Co. KG
Ziehm Imaging GmbH-Firmenlogo
Entwicklungsingenieur (m/w/d) Hardware mit Schwerpunkt Schaltungstechnik Ziehm Imaging GmbH
Nürnberg Zum Job 
ALTUS-Bau GmbH-Firmenlogo
Bauingenieur / Architekt als Bauleiter / Projektleiter (m/w/d) im Raum Schleswig-Holstein, Hamburg, Niedersachen ALTUS-Bau GmbH
Lübeck Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
BIM-Manager (w/m/d) Die Autobahn GmbH des Bundes
München Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur Straßenplanung (w/m/d) Die Autobahn GmbH des Bundes
Kempten Zum Job 
Stadtwerke München GmbH-Firmenlogo
Strategische*r Einkäufer*in Anlagenbau (m/w/d) Stadtwerke München GmbH
München Zum Job 
Keysight Technologies Deutschland GmbH-Firmenlogo
Senior Process and Development Engineer for High Frequency Solutions (m/f/x) Keysight Technologies Deutschland GmbH
Böblingen Zum Job 
Iventa Austria Personalwerbung GmbH-Firmenlogo
Wind and Site Engineer (m/f/d) Iventa Austria Personalwerbung GmbH
Hamburg Zum Job 
SWM Services GmbH-Firmenlogo
Projektingenieur*in für Prozess- und Automatisierungstechnik MSR (m/w/d) SWM Services GmbH
München Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur als Außenstellenleiter (w/m/d) Die Autobahn GmbH des Bundes
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieurin oder Ingenieur Ausstattung/Verkehr (w/m/d) Die Autobahn GmbH des Bundes
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieur konstruktiver Ingenieurbau (w/m/d) Die Autobahn GmbH des Bundes
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieurin oder Bauingenieur Verkehrsplanung (w/m/d) Die Autobahn GmbH des Bundes

Der Mensch zeigt sich besonders talentiert, wenn es darum geht, neue Konzepte zu erfassen und diese systematisch mit bereits existierenden Konzepten zu kombinieren. Ein Kind, welches die Bewegung „Hüpfen“ erlernt hat, ist dank seiner Kompositionsfähigkeiten in der Lage zu verstehen, wie man „rückwärts hüpft“ oder „zweimal um einen Kegel herumhüpft“. Diese Art von logischer Verknüpfung fehlt bei neuronalen Netzen bislang, obwohl auch sie in den letzten Jahren erhebliche Fortschritte verzeichnen konnten.

Moderne künstliche Intelligenzen wie ChatGPT, Dall E und andere ähnliche Systeme, beeindrucken mit einer Reihe von herausragenden Leistungen. Sie sind in der Lage, Texte und Bilder zu generieren, Krankheiten vorherzusagen, fundamentale wissenschaftliche Prinzipien abzuleiten und sogar Kreativität unter Beweis zu stellen. Trotz dieser beeindruckenden Fähigkeiten zeigen sie jedoch Schwächen, wenn es um grundlegende logische Umkehrschlüsse geht. Selbst bei scheinbar einfachen Schlussfolgerungen wie „wenn A gleich B ist, dann ist B gleich A“ stoßen sie oft an ihre Grenzen.

Die Herausforderung für neuronale Netze

Die wesentliche Herausforderung in diesem Kontext ist die Tatsache, dass wir Menschen es als selbstverständlich erachten, gelernte Konzepte miteinander in Beziehung zu setzen. Sobald wir die Bedeutungen von „hüpfen“ und „rückwärts“ verstehen, fällt es uns leicht, auf Aufforderung rückwärts zu hüpfen, ohne dass wir dies als ein völlig neues Konzept erlernen müssen. Ebenso gelingt es uns mühelos, diese Begriffe auf neue Objekte oder Personen zu übertragen. Im Gegensatz dazu hätten bisherige künstliche Intelligenzen mit einer derartigen Verknüpfung ihre Schwierigkeiten.

Mit einer innovativen Form künstlicher Intelligenz haben Brenden Lake von der New York University und Marco Baroni von der Universität Pompeu Fabra in Barcelona jedoch den Beweis erbracht, dass das Blatt sich wenden kann. „Wir konnten zeigen, dass neuronale Netze eine dem Menschen ähnliche Systematik entwickeln können, sofern sie gezielt auf diese kombinatorischen Fähigkeiten hin optimiert werden“, berichten die Forscher. Die Ergebnisse ihrer Studie haben sie in der Fachzeitschrift „Nature“ vorgestellt.

Neuer Ansatz des maschinellen Lernens

Die in der Studie präsentierte neue Methode „Meta-learning for Compositionality (MLC)“ setzt neue Maßstäbe und steht in ihrer Leistungsfähigkeit der menschlichen Intelligenz in nichts nach, so das Forschungsteam. Sie übertrifft sogar in manchen Bereichen die menschliche Leistung. MLC zielt darauf ab, neuronale Netzwerke – die treibenden Kräfte hinter ChatGPT und verwandten Technologien zur Spracherkennung und Verarbeitung natürlicher Sprache – so zu schulen, dass sie ihre Fähigkeiten zur kompositorischen Generalisierung durch intensives Training verbessern.

Die Entwickler bisheriger Systeme, auch der umfangreichen Sprachmodelle, setzten ihre Hoffnungen darauf, dass sich die Fähigkeit zur kompositorischen Generalisierung von selbst durch Standardtrainingsmethoden einstellen würde, oder sie konzipierten spezielle Architekturen, um diese Fertigkeiten zu erlangen. MLC jedoch demonstriert, wie das gezielte Training dieser speziellen Fähigkeiten den Systemen ermöglicht, bisher unerschlossene Potenziale zu entfalten, so die Autoren der Studie.

„Seit 35 Jahren diskutieren Forscher in den Bereichen Kognitionswissenschaft, künstliche Intelligenz, Linguistik und Philosophie darüber, ob neuronale Netze eine menschenähnliche systematische Generalisierung erreichen können“, sagt Brenden Lake, Assistenzprofessor am Center for Data Science und am Fachbereich Psychologie der NYU und einer der Autoren der Studie. „Wir haben zum ersten Mal gezeigt, dass ein generisches neuronales Netzwerk die systematische Verallgemeinerung des Menschen in einem direkten Vergleich nachahmen oder sogar übertreffen kann.

Besser als ChatGPT

Bei MLC handelt es sich um ein neuartiges Lernverfahren, bei dem ein neuronales Netz kontinuierlich aktualisiert wird, um seine Fähigkeiten über eine Reihe von Episoden zu verbessern. In jeder Episode wird MLC mit einem neuen Wort konfrontiert und dazu angeregt, dieses in einem kompositorischen Kontext zu nutzen. Dies könnte beispielsweise bedeuten, das Wort „springen“ zu nehmen und daraus neue Wortkombinationen wie „zweimal springen“ oder „zweimal rechts herum springen“ zu kreieren. In jeder weiteren Episode wird MLC mit einem anderen Wort herausgefordert, was zu einer stetigen Verbesserung der Kompositionsfähigkeiten des Netzwerks führt.

Um die Effektivität von MLC zu überprüfen, führten die Forscher eine Vielzahl an Experimenten durch, an denen auch menschliche Teilnehmer partizipierten und die identische Aufgaben wie MLC bewältigen mussten. Anstatt bereits bekannte Wortbedeutungen zu lernen, wurden die menschlichen Teilnehmer jedoch zusätzlich dazu aufgefordert, die Bedeutungen von sinnfreien Begriffen, wie zum Beispiel „zup“ und „dax“, die von den Forschern definiert wurden, zu verstehen und anzuwenden. MLC lieferte Ergebnisse auf einem Niveau mit den menschlichen Teilnehmern und übertraf diese in manchen Fällen sogar.

Sowohl MLC als auch die Menschen zeigten dabei bessere Leistungen als ChatGPT und GPT-4, welche trotz ihrer generellen Fähigkeiten Schwierigkeiten mit dieser speziellen Lernaufgabe hatten. „Große Sprachmodelle wie ChatGPT haben immer noch Probleme mit der kompositorischen Generalisierung, obwohl sie in den letzten Jahren besser geworden sind“, bemerkt Baroni „Aber wir glauben, dass MLC die Kompositionsfähigkeiten großer Sprachmodelle weiter verbessern kann“.

Ein Beitrag von:

  • Dominik Hochwarth

    Redakteur beim VDI Verlag. Nach dem Studium absolvierte er eine Ausbildung zum Online-Redakteur, es folgten ein Volontariat und jeweils 10 Jahre als Webtexter für eine Internetagentur und einen Onlineshop. Seit September 2022 schreibt er für ingenieur.de.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.