Dieser Test weist die KI in ihre Schranken
Der neue Test „Humanity’s Last Exam“ bringt selbst fortschrittlichste KI-Modelle ins Straucheln. Was den Test so besonders macht und welche Lehren sich daraus für den Einsatz von künstlicher Intelligenz (KI) ziehen lassen.
Da raucht auch KI der Kopf: Ein Test bringt Künstliche Intelligenz an ihre Grenzen.
Foto: PantherMedia / Sergiy Artsaba
Moderne KI-Systeme beeindrucken mit Leistungen in verschiedenen Bereichen, doch der kürzlich veröffentlichte Test „Humanity’s Last Exam“ deckt die Schwächen der Technologie auf. Entwickelt von den US-Organisationen Scale AI und dem Center for AI Safety (CAIS) unter Mitwirkung von rund 1.000 Expertinnen und Experten aus aller Welt, umfasst der Test 3.000 anspruchsvolle Fragen aus Wissenschaft und Forschung. Selbst Spitzenmodelle wie GPT-4 und Google Gemini erreichen dabei lediglich eine Erfolgsquote von weniger als zehn Prozent. Sören Möller, Materialwissenschaftler am Forschungszentrum Jülich ist einer der Mitautoren des Tests. Er kann die Hintergründe und Auswirkungen dieses ernüchternden Ergebnisses für die Weiterentwicklung und Anwendung von künstlicher Intelligenz einschätzen.
Die Entwicklung geeigneter Fragen für „Humanity’s Last Exam“ stellte sich als überraschend herausfordernd heraus, wie Möller berichtet. Anfängliche Aufgaben aus seinen Fachgebieten, Ionenstrahlanalytik und Strahlenschutz, konnten die KI-Modelle mühelos meistern. „Erst bei komplexeren mehrstufigen Aufgaben mit herausfordernder Logik konnte ich alle KI-Modelle an ihre Grenzen bringen.“ Der Test prüft im Kern, ob ein Large Language Model (LLM) wie ChatGPT4 in der Lage wäre, einen akademischen Abschluss auf Master- oder Promotionsniveau zu erlangen. Im Gegensatz zu bisherigen Benchmarks, die aufgrund der rasanten Fortschritte der KI-Technologie an Aussagekraft eingebüßt haben, bietet „Humanity’s Last Exam“ durch seine Komplexität ein zukunftsfähiges Maß für die Leistungsfähigkeit von LLMs.
Künstliche Intelligenz versagt bei akademischen Aufgaben
Die getesteten KI-Modelle schnitten nicht sonderlich gut ab: Keines der Systeme konnte mehr als zehn Prozent der Fragen korrekt beantworten. Dieser Kontrast zu den positiven Leistungen von LLMs in Bereichen wie Chatbots oder Übersetzungen wirft Fragen auf. Interessanterweise erzielte das kostengünstigere Modell DeepSeek-R1 bei Textaufgaben sogar bessere Ergebnisse als die für wissenschaftliche Zwecke optimierte Version von ChatGPT. Die Ursachen für das generelle Versagen der KI-Systeme bei „Humanity’s Last Exam“ sind noch nicht abschließend geklärt, Möller vermutet jedoch, dass es den Modellen an echten Denkfähigkeiten mangelt. Im Gegensatz zu Menschen können LLMs Probleme nicht zerlegen, Antworten konsistent prüfen oder auf mehreren Ebenen reflektieren.
Aktuelle Forschungsansätze versuchen, diese Defizite zu beheben. Konzepte wie „Mixture of Experts“, bei dem das LLM zunächst die Anfrage einsortiert und dann nur einen spezialisierten Teil seines neuralen Netzes zur Antwortgenerierung nutzt, versprechen Verbesserungen. Auch der Ansatz „Chains-of-Thought“, der LLMs zu einer begrenzten Selbstverifikation ihrer Antworten befähigt, zielt darauf ab, die Ergebnisqualität zu optimieren. Das vergleichsweise gute Abschneiden von DeepSeek-R1 und ChatGPT-o1, die diese Konzepte einbinden, deutet auf das Potenzial dieser Ansätze hin.
Grenzen von Künstlicher Intelligenz in der Wissenschaft
Das schlechte Ergebnis bei „Humanity’s Last Exam“ hat Konsequenzen für den Einsatz von KI in der Wissenschaft. Es liefert erstmals ein quantitatives Maß für die bisherige Skepsis gegenüber den Fähigkeiten von LLMs. Auch Erfahrungen aus dem Forschungszentrum Jülich, etwa mit KI-gestützten Verlagsprogrammen oder den Logikfähigkeiten von LLMs, zeichnen ein ernüchterndes Bild. Künstliche Intelligenz leistet bei wissenschaftlichem Zuarbeiten wie Programmierung oder Anbieterrecherchen bereits gute Dienste. „Das schlechte Abschneiden bei dem Test verdeutlicht aber: Wissenschaftliche Kernaufgaben wie das wissenschaftliche Schreiben, die Modellentwicklung oder die Dateninterpretation können LLMs momentan noch nicht zuverlässig erledigen“, sagt Möller.
Zwar sind die Fragen bei „Humanity’s Last Exam“ sehr anspruchsvoll und wohl auch für Menschen nicht vollständig lösbar, doch eine Erfolgsquote von 80 Prozent wäre ein wichtiges Zwischenziel für die KI-Entwicklung, bevor weitere Anwendungen in Betracht gezogen werden können. Möller vermutet, dass dafür noch erhebliche Änderungen an der Struktur von LLMs erforderlich sind, um komplexe Denkprozesse oder die Zerlegung von Aufgaben in einfachere Teilschritte zu ermöglichen.
Künstliche Intelligenz braucht neue Denkstrukturen
Trotz des schlechten Abschneidens bei „Humanity’s Last Exam“ zeigt der Test wichtige Entwicklungsmöglichkeiten für KI-Systeme auf. Um die Leistungsfähigkeit von LLMs weiter zu steigern, bedarf es neuer Ansätze zur Nachbildung menschlicher Denkstrukturen. Konzepte wie „Mixture of Experts“ und „Chains-of-Thought“ weisen dabei in die richtige Richtung, indem sie die Effizienz und Selbstverifikation von KI-Modellen verbessern. Es bleibt aber noch ein weiter Weg, bis Künstliche Intelligenz in der Lage sein wird, komplexe Probleme eigenständig zu zerlegen, Antworten konsistent zu prüfen und auf mehreren Ebenen zu reflektieren.
Ein Beitrag von:
