Die Schweiz hat ein eigenes, mehrsprachiges KI-Sprachmodell (Large Language Model, LLM), das sogar Schweizerdeutsch beherrscht. Dieses trägt den Namen Apertus und wurde von der
EPFL, der
ETH Zürich und dem Schweizerischen Supercomputing-Zentrum CSCS veröffentlicht. Angekündigt wurde Apertus bereits im Juli ("Swiss IT Magazine"
berichtete), es erscheint in zwei Varianten, eine mit 8 Milliarden und eine mit 70 Milliarden Parametern.
Apertus ist per sofort verfügbar und setzt nicht zuletzt dank Open-Source-Lizenz auf Offenheit und Transparenz: Laut Mitteilung ist der gesamte Entwicklungsprozess, einschliesslich Architektur, Modellgewichten sowie Trainingsdaten und -methoden, frei zugänglich und umfassend dokumentiert. Das Modell, das nach dem lateinischen Wort für "offen" benannt ist, soll fortan als Grundlage für Schweizer KI-Anwendungen wie Chatbots oder digitale Lernwerkzeuge dienen. Zugang zum Modell ist via Hugging Face (
hier) oder Swisscom als strategischen Partner möglich. Neben dem Modell wurden auch eine Dokumentation, der Quellcode des Trainingsprozesses und die Modellgewichte offengelegt.
Trainiert wurde Apertus mit Tokens aus über 1000 Sprachen, darunter solche, die in bisherigen LLMs stark unterrepräsentiert waren – darunter eben auch Schweizerdeutsch und Rätoromanisch. 40 Prozent der Trainingsdaten waren nicht englischsprachig, wie die Forscher schreiben.
Man verstehe das Modell als "Impulsgeber für Innovationen und als Mittel zum Ausbau der KI-Expertise in Forschung, Gesellschaft und Wirtschaft", sagt Thomas Schulthess, Direktor des CSCS und Professor an der
ETH Zürich. Martin Jaggi, Professor für Maschinelles Lernen an der
EPFL und Mitglied des Steering Committees der Swiss AI Initiative, ergänzt: "Mit dieser Veröffentlichung möchten wir ein Musterbeispiel dafür geben, wie sich ein vertrauenswürdiges, souveränes und inklusives KI-Modell bauen lässt."
Die Lancierung sei erst der Beginn der Reise, wie Antoine Bosselut, Professor und Leiter des Natural Language Processing Laboratory der EPFL und Co-Leiter der Swiss AI Initiative, klarstellt. Für die Zukunft sind nun weitere Modellvarianten geplant.
(win)
