Neuronale Netze und die Lotterielos-Hypothese: Geht es effizienter?
Wer alle möglichen Zahlenkombinationen beim Lotto tippt, gewinnt garantiert den Jackpot – lohnen tut sich das allerdings nicht. Ähnlich sieht es bei neuronalen Netzen aus. Experten sprechen hier von der Lotterielos-Hypothese. Mit Curriculum Learning lassen sich jedoch Ressourcen schonen.
Bei neuronalen Netzen greift die Lotterielos-Hypothese - wer viel investiert, bekommt bessere Ergebnisse, doch der Ressourcenverbrauch steigt ins Unermessliche. Forschende aus Mailand wollen das ändern.
Foto: PantherMedia / Andriy Popov
Neuronale Netze prägen zunehmend unseren Alltag – von Sprachmodellen wie ChatGPT bis hin zu Anwendungen in der Industrie. Je größer das Netz, desto besser kann es lernen. Der Ressourcenverbrauch steigt jedoch im gleichen Maße. Doch wie lassen sich diese leistungsstarken Systeme effizienter gestalten? Ein aktueller Ansatz der Bocconi Universität in Mailand untersucht, ob das sogenannte Curriculum Learning, also ein Lernen in geordneter Abfolge, die Effizienz steigern kann.
Inhaltsverzeichnis
Wie die Lotterielos-Hypothese das Training von KI erklärt
Die sogenannte Lotterielos-Hypothese beschreibt ein grundlegendes Prinzip des maschinellen Lernens: Je größer ein neuronales Netz ist, desto höher ist die Wahrscheinlichkeit, dass es die gewünschte Aufgabe präzise löst. Größere Netzwerke mit mehr Parametern bieten mehr „Chancen“, die beste Lösung zu finden – ähnlich wie mehr gekaufte Lottoscheine die Wahrscheinlichkeit eines Gewinns erhöhen.
Diese Methode bringt jedoch große Herausforderungen mit sich. Ein überdimensioniertes neuronales Netz benötigt enorme Rechenkapazitäten. Das bedeutet hohen Energieverbrauch und steigende Hardwarekosten. Angesichts der ökologischen Auswirkungen stellt sich die Frage: Gibt es effizientere Alternativen?
Warum machen wir es nicht wie das menschliche Gehirn?
Das menschliche Gehirn bietet hier ein faszinierendes Gegenmodell. Es ist enorm leistungsfähig und verbraucht dabei nur einen Bruchteil der Energie, die ein neuronales Netz benötigt. Wie schafft es das? Ein wesentlicher Schlüssel liegt in der Reihenfolge des Lernens.
Luca Saglietti, Physiker an der Universität Bocconi, beschreibt es so: „Wenn jemand noch nie Klavier gespielt hat und man ihm ein Chopin-Stück vorsetzt, wird er wahrscheinlich keine großen Fortschritte machen. Normalerweise beginnt das Lernen mit einfachen Stücken wie ‚Twinkle Twinkle Little Star‘.“
Beim Menschen erfolgt das Lernen schrittweise. Zunächst werden grundlegende Fähigkeiten entwickelt, bevor komplexere Aufgaben gelöst werden. Dieses Prinzip wird als Curriculum Learning bezeichnet und bietet eine Blaupause für effizientere Trainingsprozesse in neuronalen Netzen.
Die Grenzen des Curriculum Learning bei großen Netzwerken
Trotz seiner intuitiven Logik hat Curriculum Learning in der KI-Forschung eine überraschende Hürde: Für sehr große neuronale Netze – sogenannte überparametrisierte Netzwerke – scheint die Methode laut Forschungsteam wenig relevant zu sein. Der Grund: Diese Netze haben so viele Ressourcen, dass sie nicht auf die Abfolge der Eingabedaten angewiesen sind. Sie finden die Lösung direkt in ihren internen Strukturen.
Luca Saglietti erklärt dies folgendermaßen: „Ein überparametrisiertes neuronales Netz braucht diesen Weg nicht, weil es nicht durch das Lernen anhand von Beispielen geleitet wird, sondern durch die Tatsache, dass es so viele Parameter hat.“
Mit anderen Worten: Diese Netzwerke sind so „reichhaltig“, dass sie selbst mit zufälligem Input die Aufgabe lösen können. Die Lernstrategie wird dadurch weniger entscheidend, da die Netzwerkgröße das Training dominiert.
Kleinere Netze, besseres Training: Ein neuer Weg
Auch wenn Curriculum Learning bei großen Netzwerken ineffektiv erscheint, zeigen Studien, dass es bei kleineren Netzwerken deutliche Vorteile bietet. Die Forschungen von Saglietti und seinem Team legen nahe, dass eine geordnete Datenabfolge die Leistung von kleineren Netzwerken signifikant steigern kann. Das hat weitreichende Implikationen für die KI-Entwicklung.
Saglietti erläutert: „Wenn wir mit kleineren Netzwerken beginnen, zeigt das Zeigen von Beispielen in einer kuratierten Reihenfolge eine Leistungssteigerung im Vergleich zu zufälliger Eingabe.“
Dies bedeutet, dass neuronale Netze nicht zwangsläufig riesig sein müssen, um gute Ergebnisse zu erzielen. Vielmehr könnten kleinere Netzwerke mit einer klugen Trainingsstrategie ähnlich leistungsfähig sein – und das bei deutlich geringerem Ressourcenaufwand.
Energieeffiziente KI ist ein Muss für die Zukunft
Die Bedeutung dieser Erkenntnisse geht über die reine Theorie hinaus. Der Energiebedarf von KI-Systemen wächst rapide, besonders durch die Verbreitung großer Modelle wie ChatGPT. Jede neue Anwendung bedeutet zusätzliche Rechenleistung und steigende Umweltbelastung.
Mit ressourceneffizienteren Trainingsmethoden könnten KI-Systeme nicht nur nachhaltiger werden, sondern auch auf weniger leistungsstarker Hardware laufen. Das wäre ein entscheidender Schritt, um KI-Technologien breiter verfügbar zu machen – ohne die ökologischen Kosten in die Höhe zu treiben.
Ein Beitrag von:
