Tiefe neuronale Netze 15.01.2025, 10:13 Uhr

Einfachheit gewinnt: KI und Ockhams Rasiermesser

KI trifft auf Philosophie: DNNs nutzen ein natürliches „Ockhams Rasiermesser“, um effektiver aus Daten zu lernen und neue Muster zu erkennen.

Künstliche Intelligenz und neuronale Netze

Forschende haben herausgefunden, dass künstliche Intelligenz eine natürliche Art von "Ockhams Rasiermesser" nutzt.

Foto: PantherMedia / Jirsak

Künstliche Intelligenz (KI) ist mittlerweile ein zentraler Bestandteil moderner Technologie. Ein spannender Aspekt der KI-Forschung ist die Frage, warum und wie tiefe neuronale Netze (Deep Neural Networks = DNNs), die Grundlage vieler KI-Systeme, so effektiv aus Daten lernen. Eine neue Studie der Universität Oxford hat darauf eine Antwort geliefert: DNNs verfügen über ein eingebautes Prinzip von Ockhams Rasiermesser. Dieses Prinzip besagt, dass bei mehreren möglichen Erklärungen die einfachste vorzuziehen ist. Doch wie funktioniert diese „Neigung zur Einfachheit“ in der Praxis, und warum ist sie für DNNs so entscheidend?

Was ist Ockhams Rasiermesser?

Ockhams Rasiermesser ist ein philosophisches Prinzip, das auf den mittelalterlichen Theologen und Philosophen William von Ockham (ca. 1285–1347) zurückgeht. Es wird oft so interpretiert, dass unnötige Annahmen vermieden werden sollten, wenn eine Theorie oder Lösung entwickelt wird. In seiner einfachsten Form lautet das Prinzip: „Von mehreren möglichen Erklärungen ist die einfachste zu bevorzugen.“

Das Konzept basiert auf der Annahme, dass einfache Lösungen weniger anfällig für Fehler sind, da sie weniger Annahmen enthalten. Zudem erleichtert Einfachheit das Verständnis und die Reproduzierbarkeit von Modellen oder Theorien. In der Wissenschaft und Technik wird Ockhams Rasiermesser häufig angewandt, um zwischen konkurrierenden Hypothesen auszuwählen oder komplexe Systeme zu analysieren.

Stellenangebote im Bereich Softwareentwicklung

Softwareentwicklung Jobs
B. Braun Melsungen AG-Firmenlogo
Senior Prozess Experte (w/m/d) Reinmedien / Einwaage / Ansatz B. Braun Melsungen AG
Melsungen Zum Job 
Deutsches Zentrum für Luft- und Raumfahrt e. V.-Firmenlogo
Versorgungsingenieur/in, Elektroingenieur/in o. ä. (w/m/d) Projektsteuerung von Baumaßnahmen Deutsches Zentrum für Luft- und Raumfahrt e. V.
DTU Nanolab-Firmenlogo
Technicians / Service Engineers (f/m/d) DTU Nanolab
Kongens Lyngby (Dänemark) Zum Job 
RHEINMETALL AG-Firmenlogo
Verstärkung für unsere technischen Projekte im Bereich Engineering und IT (m/w/d) RHEINMETALL AG
deutschlandweit Zum Job 
Stuttgart Netze GmbH-Firmenlogo
(Junior) Ingenieur Elektrotechnik Projektierung (w/m/d) Stuttgart Netze GmbH
Stuttgart Zum Job 
Lincoln Electric GmbH-Firmenlogo
Schweißfachingenieur / Schweißtechniker (m/w/d) Lincoln Electric GmbH
Evonik Operations GmbH-Firmenlogo
Ingenieur (m/w/d) Informatik / Elektrotechnik / Automatisierungstechnik / Chemische Produktion Evonik Operations GmbH
VIVAVIS AG-Firmenlogo
Partner-Manager Metering (m/w/d) VIVAVIS AG
Koblenz, Home-Office Zum Job 
VIVAVIS AG-Firmenlogo
Sales Manager Bahn (m/w/d) VIVAVIS AG
Berlin, Home-Office Zum Job 
B. Braun Melsungen AG-Firmenlogo
Head of (w/m/d) Portfolio Development Team Pain Therapy B. Braun Melsungen AG
Melsungen Zum Job 
STAWAG - Stadt und Städteregionswerke Aachen AG-Firmenlogo
Betriebsingenieur:in Wärmeanlagen (m/w/d) STAWAG - Stadt und Städteregionswerke Aachen AG
Wirtgen GmbH-Firmenlogo
Software-Testingenieur (m/w/d) Testautomatisierung -Steuerungssoftware für mobile Arbeitsmaschinen Wirtgen GmbH
Windhagen Zum Job 
THU Technische Hochschule Ulm-Firmenlogo
W2-Professur "Elektrische Antriebe" THU Technische Hochschule Ulm
Mercer Stendal GmbH-Firmenlogo
Ingenieur / Techniker (m/w/d) Automatisierungstechnik Mercer Stendal GmbH
Arneburg Zum Job 
Mercer Stendal GmbH-Firmenlogo
Betriebstechniker (m/w/d) Prozessleittechnik Mercer Stendal GmbH
Arneburg Zum Job 
Solventum Germany GmbH-Firmenlogo
Prozessingenieur Automatisierungstechnik / Mechatronik / Maschinenbau (m/w/*) Solventum Germany GmbH
Seefeld Zum Job 
Josefs-Gesellschaft gAG-Firmenlogo
Leitung (m/w/d) Gebäudemanagement Josefs-Gesellschaft gAG
Hochheim am Main, Rüdesheim am Rhein, Oberursel Zum Job 
Desitin Arzneimittel GmbH-Firmenlogo
Projektmanager Gebäudeautomation (m/w/d) Desitin Arzneimittel GmbH
Hamburg Zum Job 
Desitin Arzneimittel GmbH-Firmenlogo
Projektmanager TGA (m/w/d) Desitin Arzneimittel GmbH
Hamburg Zum Job 
Wirtgen GmbH-Firmenlogo
Project Manager Product Lifecycle Management (m/w/d) Wirtgen GmbH
Windhagen Zum Job 

Ein Beispiel aus dem Alltag verdeutlicht das Prinzip: Wenn ein Auto nicht startet, könnte dies an einer leeren Batterie, einem defekten Anlasser oder einer Vielzahl anderer Probleme liegen. Laut Ockhams Rasiermesser würde man zuerst die einfachste Erklärung prüfen – beispielsweise, ob der Tank leer ist. In der KI spielt dieses Konzept eine wichtige Rolle, da Modelle mit übermäßiger Komplexität dazu neigen, schlecht zu generalisieren.

DNNs und ihre Präferenz für Einfachheit

Deep Neural Networks können theoretisch jede mögliche Funktion erlernen, die den Trainingsdaten entspricht. Die Studie zeigt jedoch, dass DNNs eine eingebaute Präferenz für einfache Funktionen besitzen. Diese Präferenz hilft ihnen, aus einer Vielzahl von Lösungen diejenigen auszuwählen, die nicht nur die Trainingsdaten erklären, sondern auch bei neuen, unbekannten Daten gut abschneiden.

Professor Ard Louis, der Leiter der Studie, erklärte: „Wir wussten, dass die Effektivität von DNNs auf einer Art induktiver Voreingenommenheit beruht. Doch wie genau dieses Prinzip funktioniert, war bisher unklar.“

Die Forschenden untersuchten, wie DNNs sogenannte Boolesche Funktionen erlernen. Diese grundlegenden Regeln der Informatik haben nur zwei mögliche Ergebnisse: wahr oder falsch. Dabei stellten sie fest, dass DNNs einfachere Regeln bevorzugen, die sich leicht beschreiben lassen. Dieses Verhalten spiegelt eine einzigartige Form von Ockhams Rasiermesser wider.

Ein Ausgleich von Komplexität

Ein spannendes Ergebnis der Studie ist, dass das Rasiermesser der DNNs die exponentielle Zunahme möglicher Lösungen mit steigender Systemgröße ausgleicht. Dies bedeutet, dass DNNs seltene, einfache Funktionen identifizieren, die sowohl für die Trainingsdaten als auch für neue Daten gut geeignet sind. Komplexere Funktionen, die zwar die Trainingsdaten perfekt erklären, aber bei neuen Daten versagen, werden vermieden.

Ein Beispiel: In der realen Welt folgen viele Daten einfachen Mustern. Diese Eigenschaft erleichtert es DNNs, robuste Vorhersagen zu treffen, ohne Gefahr zu laufen, sich zu stark auf die Trainingsdaten zu überanpassen.

Grenzen der Einfachheit

Trotz ihrer Präferenz für Einfachheit können DNNs an ihre Grenzen stoßen. Wenn Daten besonders komplex sind und keine einfachen Muster aufweisen, können sie schlechtere Ergebnisse liefern. In solchen Fällen ist ihre Leistung oft nicht besser als reines Raten.

Darüber hinaus zeigte die Studie, dass selbst kleine Änderungen im Lernprozess die Fähigkeit von DNNs erheblich beeinträchtigen können, einfache Funktionen zu generalisieren. Dies unterstreicht, wie wichtig die richtige Balance zwischen Einfachheit und Komplexität für den Erfolg dieser Netzwerke ist.

Was bedeutet das für die Praxis?

Die Ergebnisse der Studie bieten wertvolle Einblicke, wie DNNs effektiv lernen. Sie könnten dabei helfen, die „Black Box“ der KI besser zu verstehen. Aktuell ist es oft schwierig, die Entscheidungen von KI-Systemen nachzuvollziehen oder zu erklären. Mit einem besseren Verständnis der zugrunde liegenden Prinzipien könnte die Entwicklung erklärbarer KI-Systeme vorangetrieben werden.

Christopher Mingard, einer der Hauptautoren, betont: „Wir müssen über die Einfachheit hinausblicken und weitere Faktoren identifizieren, die die Leistung von DNNs beeinflussen.“

Verbindungen zur Natur

Interessanterweise gibt es Parallelen zwischen der Funktionsweise von DNNs und den Grundprinzipien der Natur. Die von der Studie entdeckte Tendenz zur Einfachheit erinnert an evolutionäre Prozesse, bei denen symmetrische Strukturen in Proteinen oder anderen Systemen bevorzugt werden. Diese Verbindung könnte neue Forschungsfelder öffnen und weitere Ähnlichkeiten zwischen Lernen und Evolution aufdecken.

Professor Louis fasste es so zusammen: „Die von uns beobachtete Tendenz zur Einfachheit könnte ein tieferes Prinzip widerspiegeln, das in der Struktur der Welt verankert ist.“

Hier geht es zur Originalpublikation

Ein Beitrag von:

  • Dominik Hochwarth

    Redakteur beim VDI Verlag. Nach dem Studium absolvierte er eine Ausbildung zum Online-Redakteur, es folgten ein Volontariat und jeweils 10 Jahre als Webtexter für eine Internetagentur und einen Onlineshop. Seit September 2022 schreibt er für ingenieur.de.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.