TrustLLM soll besser werden als ChatGPT
In Europa wird derzeit ein Large Language Model entwickelt, das zuverlässiger, offener, transparenter und energieeffizienter sein soll als ChatGPT. Dies wird durch den Einsatz von Europas größtem Computer erreicht, der derzeit in Jülich gebaut wird.
Künstliche Intelligenz-Anwendungen erfordern erhebliche Rechenleistung.
Foto: Forschungszentrum Jülich / Sascha Kreklau
Könnte ein Mensch Texte besser schreiben als ChatGPT, ohne Urheberrechte zu verletzen, falsche Informationen zu liefern und die Datenschutzregeln zu beachten? Vielleicht – oder ein neues Large Language Model, das derzeit in Europa entwickelt wird. Es wird behauptet, dass es zuverlässiger, offener, transparenter und energieeffizienter sein soll als ChatGPT. Die Umsetzung erfolgt mithilfe von Europas größtem Computer, der derzeit in Jülich gebaut wird.
Das Modell soll TrustLLM heißen und, wie bereits erwähnt, in jeder Hinsicht besser sein als die kommerzielle Konkurrenz: zuverlässiger, offener, ethisch korrekt und nicht zuletzt sparsamer beim Energieverbrauch. Zudem soll das Modell auch für Sprachen geeignet sein, die von einer geringeren Anzahl von Menschen gesprochen werden. Das Ziel ist es, die Blackbox-Eigenschaften des Modells auf ein Minimum zu reduzieren und eine Opt-out-Funktion anzubieten. Diese ermöglicht es den Nutzern, bestimmte Datensätze auf Wunsch nicht zu verwenden, um das Modell weiter zu trainieren.
Trillion Rechenoperationen pro Sekunde
Der Kern des Trainingszentrums, die „Maschinenhalle“, wird derzeit in Jülich errichtet. Der Supercomputer JUPITER aus Jülich soll als erster Superrechner in Europa die Marke von einer Trillion Rechenoperationen pro Sekunde überschreiten und möglicherweise als größter KI-Rechner der Welt Durchbrüche bei der Anwendung von künstlicher Intelligenz ermöglichen.
Expert*innen um Dr. Stefan Kesselheim vom Jülich Supercomputing Centre des Forschungszentrums Jülich sind Teil des TrustLLM-Projekts und gewährleisten unter anderem eine optimale Effizienz des rechenintensiven Trainings auf allen Systemen.
„Wir bauen gerade Europas größten Rechner, vielleicht sogar den weltweit größten KI-Rechner auf“, berichtet Kesselheim. Der Jülicher Supercomputer JUPITER strebt als erster Superrechner in Europa danach, die Grenze von einer Trillion Rechenoperationen pro Sekunde zu überschreiten. Dadurch sollen bedeutende Fortschritte bei der Anwendung von künstlicher Intelligenz ermöglicht werden.
„Alle hoffen, dass man durch solche Sprachmodelle mehr Produktivität gewinnt. Es wäre aber bitter, wenn Europa diese Vorteile nur durch das Abgeben von Datensouveränität hätte“, sagt Stefan Kesselheim vom Supercomputing Centre des Forschungszentrums Jülich und verweist auf die Marktdominanz durch amerikanische Firmen. „Ganz unzweifelhaft haben gerade Google und OpenAi einen technologischen Vorsprung. Sie sind am weitesten darin, diese Sprachmodelle einsetzbar zu machen.“ Deshalb muss eine Alternative geschaffen werden. Eine Alternative, die zuverlässiger, offener, ethisch korrekt arbeitet. Eine Alternative, die die besser zu europäischen Werten passt. „Das Modell soll auch für Sprachen funktionieren, die nicht viele Menschen sprechen, zum Beispiel isländisch.“
Nutzer sollen dem Produkt vertrauen
„Die Nutzer sollen dem Produkt und dem Produktionsprozess vertrauen“, sagt Kesselheim. Damit entschlüsselt sich der Name des Projekts – denn das „Trust“ im Projektnamen ist Programm. „Das heißt, dass Datensätze nicht verwendet werden, bei denen der Besitzer verbietet, sie für das Trainieren eines Modells zu nutzen.“ Technisch gesehen wird das Ziel sein, der Maschine „Halluzinationen“ zu entziehen, also faktische Fehler zu eliminieren, die vom Modell als Wahrheit dargestellt werden.
Sprachmodelle nutzen künstliche neuronale Netzwerke, die von der Funktionsweise des Gehirns inspiriert sind. Ähnlich einem virtuellen Nürnberger Trichter wird der Software eine immense Textmenge zugeführt. Während des Trainings lernt die Maschine aus diesem Datensatz, indem sie nach Mustern sucht und darauf basierend neue Inhalte generiert. Die Genauigkeit dieser Inhalte wird jedoch nicht von den neuronalen Netzwerken bestimmt. Stattdessen geben sie lediglich die Wahrscheinlichkeit an, mit der ein Wort auf das nächste folgt. Daher ist das Ergebnis anfällig für Fehler, Manipulationen sowie Verletzungen des Datenschutzes, Urheberrechts und der Persönlichkeitsrechte. Mit anderen Worten: „Halluzination“ soll verschwinden.
Ziel: Geringere Energiekosten
Sowohl die Software als auch die Hardware werden daher auf Effizienz optimiert, da eine kürzere Trainingsdauer letztendlich zu geringeren Energiekosten führt. Dies ist jedoch keine einfache Aufgabe, wie Kesselheim zugibt. „Gerade auf so großen Maschinen ist es eine Herausforderung, sie so zum Laufen zu bringen, dass sie schnell und konkurrenzfähig sind“, erklärt der Experte.
Zu Beginn wird sich TrustLLM auf die germanische Sprachfamilie konzentrieren, zu der neben Englisch und Deutsch auch Sprachen wie Schwedisch, Dänisch und Isländisch gehören. Das Projekt ist jedoch offen gestaltet, sodass andere Forscher Sprachmodelle für zusätzliche europäische Sprachen übernehmen und weiterentwickeln können.
Ein Beitrag von:
