Apertus: Das transparente Schweizer Sprachmodell

In einem gemeinsamen Projekt haben die Eidgenössische Technische Hochschule Lausanne (EPFL), die Eidgenössische Technische Hochschule Zürich (ETH Zürich) und das Schweizerische Supercomputing-Zentrum (CSCS) das erste umfangreiche, offene und mehrsprachige Sprachmodell der Schweiz entwickelt und nun der Öffentlichkeit zugänglich gemacht. Apertus, wie das Large Language Model (LLM) genannt wird, dient als Fundament für die Entwicklung zukünftiger Anwendungen im Bereich der generativen Künstlichen Intelligenz (KI), darunter Chatbots, Übersetzungssysteme oder digitale Lerntools.

Der Name Apertus, lateinisch für „offen“, unterstreicht ein zentrales Charaktermerkmal dieses Sprachmodells: Sämtliche Aspekte seiner Entwicklung, von der Architektur über die Modellgewichte bis hin zu den Trainingsdaten und -methoden, sind frei zugänglich und ausführlich dokumentiert. Interessierte KI-Forschende, Fachleute sowie versierte Nutzerinnen und Nutzer können Apertus entweder über die strategische Partnerin Swisscom nutzen oder es über die Plattform Hugging Face, einen Marktplatz für KI-Modelle und -Anwendungen, herunterladen und für eigene Projekte verwenden. Apertus ist in zwei frei verfügbaren Größen erhältlich – mit acht Milliarden und mit 70 Milliarden Parametern –, wobei die kleinere Version sich eher für den individuellen Gebrauch eignet.

Apertus: Ein Musterbeispiel für transparente Sprachmodelle

Als vollständig offenes Sprachmodell bietet Apertus Forschenden, Fachleuten sowie erfahrenen Anwendenden die Möglichkeit, auf dem Modell aufzubauen, es an ihre spezifischen Anforderungen anzupassen und jeden Schritt des Trainingsprozesses transparent nachzuvollziehen. Damit hebt sich Apertus von Modellen ab, bei denen nur ausgewählte Komponenten einsehbar sind. „Mit dieser Veröffentlichung möchten wir ein Musterbeispiel dafür geben, wie sich ein vertrauenswürdiges, souveränes und inklusives KI-Modell bauen lässt“, erklärt Martin Jaggi, Professor für Maschinelles Lernen an der EPFL und Mitglied des Lenkungsausschusses der Swiss AI Initiative. Das Entwicklungsteam, dem spezialisierte Ingenieurinnen und Ingenieure sowie zahlreiche Forschende von CSCS, ETH Zürich und EPFL angehören, wird das Modell regelmäßig aktualisieren.

Mit ihrem offenen Ansatz beschreiten die Partner neue Wege. „Apertus ist kein klassischer Technologietransfer von der Forschung zum Produkt. Vielmehr verstehen wir das Modell als Impulsgeber für Innovationen und als Mittel zum Ausbau der KI-Expertise in Forschung, Gesellschaft und Wirtschaft“, sagt Thomas Schulthess, Direktor des CSCS und Professor an der ETH Zürich. Getreu ihrer Tradition stellen die beteiligten Institutionen Basistechnologie und Infrastruktur zur Verfügung, um Innovationen in der Wirtschaft zu fördern. Apertus wurde auf 15 Billionen Worteinheiten (Tokens) aus über 1.000 Sprachen trainiert, wobei 40 Prozent der Daten nicht-englischsprachig sind, darunter auch in bisherigen LLMs unterrepräsentierte Sprachen wie Schweizerdeutsch und Rätoromanisch.

Apertus als Beitrag zum Gemeinwohl und zur digitalen Souveränität

„Apertus wurde als Beitrag zum Gemeinwohl entwickelt. Es gehört zu den wenigen vollständig offenen LLMs in dieser Größenordnung und ist das erste seiner Art, das Mehrsprachigkeit, Transparenz und Compliance als grundlegende Designprinzipien vereint“, betont Imanol Schlag, technischer Leiter des LLM-Projekts und Research Scientist an der ETH Zürich. Swisscom, als Partnerin der Swiss AI Initiative, ermöglicht den Zugang zu Apertus über ihre souveräne Swiss AI Platform. „Damit unterstreichen wir unser Engagement für ein sicheres und verantwortungsvolles KI-Ökosystem, das dem Gemeinwohl dient und die digitale Souveränität der Schweiz stärkt“, sagt Daniel Dobos, Research Director bei Swisscom. Für Personen außerhalb der Schweiz wird Apertus zudem über die Public AI Inference Utility zugänglich sein.

Die Einrichtung von Apertus ist für Fachpersonen und versierte Nutzerinnen und Nutzer unkompliziert. Es sind allerdings zusätzliche Komponenten wie Server, Cloud-Infrastruktur oder spezifische Benutzeroberflächen für den praktischen Einsatz notwendig. Bei der Entwicklung von Apertus wurde großer Wert auf Transparenz gelegt, um die Reproduzierbarkeit des Trainingsprozesses zu gewährleisten. Neben dem Modell selbst hat das Forschungsteam umfangreiche Unterlagen veröffentlicht, darunter eine ausführliche Dokumentation, den Quellcode des Trainingsprozesses und der verwendeten Datensätze sowie die Modellgewichte inklusive der Zwischenstände des Trainingsprozesses.

Apertus als Startpunkt zu vertrauenswürdigen Sprachmodellen

„Apertus zeigt, dass generative KI sowohl leistungsfähig als auch offen sein kann“, resümiert Antoine Bosselut, Professor und Leiter des Natural Language Processing Laboratory der EPFL und Co-Leiter der Swiss AI Initiative. „Die Veröffentlichung von Apertus ist kein Endpunkt, sondern der Beginn einer Reise – ein langfristiges Engagement für offene, vertrauenswürdige und souveräne KI-Grundlagen für das weltweite Gemeinwohl.“ Auf einem sogenannten Hakathon können Interessierte demnächst das Sprachmodell testen. Feedback ist ausdrücklich erwünscht – auch im Apertus weiter zu verbessern. Darüber hinaus sind bereits jetzt folgende Weiterentwicklungen geplant: die Erweiterung der Modellfamilie, Effizienzsteigerungen und spezifische Anpassungen für Fachbereiche wie Recht, Gesundheit oder Bildung.