Die ETH Zürich und die EPFL haben mit Apertus das erste grosse, vollständig offene Sprachmodell der Welt entwickelt. Es zeigt: Transparente, souveräne KI ist möglich. Die Schweiz – und Europa – brauchen genau das.
Unsplash
Apertus mag wie der Name eines Römers in einem Asterix-Comic klingen. Es ist aber, wenn wir für einen Moment in der Welt von Asterix verweilen, eher der Name für den gallischen Trotz gegen die Übermacht Roms. Dieser Beitrag stellt das Sprachmodell Apertus vor und erklärt, weshalb der Swiss AI Initiative mit seiner Veröffentlichung ein Coup gelungen ist.
Das Lernen von Sprichwörtern ist integraler Teil des Spracherwerbs. Menschen deutscher Muttersprache wissen irgendwann, dass auf «Morgenstund hat…» meist «Gold im Mund» folgt. Grosse Sprachmodelle, sogenannte Large Language Models (LLMs), tun im Prinzip nichts anderes als das. Sie lernen zu berechnen, welche Wörter in welchen Kontexten wahrscheinlicher auftreten als alle anderen: Dass also «Gold im Mund» meist die wahrscheinlichste Fortsetzung des Satzanfanges «Morgenstund hat…» ist.
Ein LLM ist ein riesiges neuronales Netz, ein mathematisches Berechnungsmodell. Das Modell nimmt Wörter als Input und gibt Wörter als Output aus. Dazwischen wird in vielen Umrechnungsschritten aus dem Input «Morgenstund hat…» ein Output «Gold im Mund» berechnet.
Das Modell selbst besteht aus den Wörtern und den Beziehungen zwischen diesen. Man kann sich das wie eine Landkarte vorstellen. Wörter, die einander ähnlich sind, liegen auf dieser Karte nahe beieinander. Je weiter zwei oder mehrere Wörter auf dieser Karte voneinander entfernt sind, desto unterschiedlicher ist ihre Bedeutung. Der Clou besteht nun darin, dass LLM die Sprache nicht in zwei, sondern in sehr vielen Dimensionen abbilden.
Modelle, die mit heutigen LLMs vergleichbar sind, gibt es seit 2017. Einer breiten Öffentlichkeit wurden diese 2022 bekannt, als OpenAI den Chatbot ChatGPT veröffentlichte. Unterdessen gibt es viele verschiedene Anwendungen, die auf LLM basieren. Nicht nur spezialisierte Systeme, etwa zur maschinellen Übersetzung, sondern auch breit einsetzbare Chatbots, die mitunter Inhalte zusammenfassen, Textvorschläge machen, Bilder generieren und so weiter. Zunehmend kommen Agenten auf, die in definierten Feldern eigenständig aktiv werden und in der Lage sind, Korrespondenz zu führen, Programme zu entwickeln oder Handel zu treiben.
Die proprietären Modelle von Alphabet, DeepSeek, Meta, Mistral und OpenAI haben alle denselben Haken: Sie sind weder offen, noch lässt sich überprüfen, welche Daten wie in deren Training eingeflossen sind, und ob dies rechtens war.
Die Macher:innen von Apertus haben sich für den entgegengesetzten Weg entschieden. Nicht nur lässt sich das Modell herunterladen und als eigene Instanz installieren. Das kann auch mit einem Teil der anderen Modelle getan werden. Im Gegensatz zu den anderen verfügbaren Modellen ist die komplette Bauanleitung von Apertus offen zugänglich. Das heisst Interessierte können Schritt für Schritt nachvollziehen, wie Apertus wurde, was es ist. Vom Source Code über die Trainingsdaten bis zu Informationen darüber, mit welchen Einstellungen der Trainingsprozess genau ablief. Damit ist Apertus nicht nur ein Sprachmodell, sondern auch eine vollständige und reproduzierbare Dokumentation seiner Entwicklung. Das setzt einen neuen Massstab für Offenheit und Transparenz. Und Apertus ist das einzige grosse Sprachmodell, das vollständig kompatibel mit dem AI Act der Europäischen Union und dem hiesigen Datenschutz ist und europäische Urheberrechtsgesetze respektiert.
Eine weitere Eigenheit von Apertus ist der Umstand, dass Textdaten in über 1000 Sprachen in das Trainingsset eingeflossen sind. Angesichts der Vielsprachigkeit des Internets klingt dies nicht nach einer Besonderheit. Tatsächlich aber ist das ein grosses Alleinstellungsmerkmal. Während die geläufigen Modelle vornehmlich in Englisch trainiert werden, trägt Apertus mit lediglich 60 Prozent englischen Trainingsdaten ein Bekenntnis zur Vielsprachigkeit und zur kulturellen Vielfalt in sich. So sind auch Texte seltener Sprachen etwa Rätoromanisch in das Training von Apertus eingeflossen.
Die heute auf dem Markt befindlichen grossen Sprachmodelle stammen zum Grossteil aus den USA oder China. Angesichts der zunehmenden Bedeutung technologischer Souveränität muss dieser Umstand zu denken geben. Denn LLMs werden immer mehr zu einer Infrastruktur, die grundlegend ist für das Funktionieren von Tätigkeitsbereichen und Branchen. In Zukunft werden von diesen ganze Volkswirtschaften abhängig sein, wie sie es heute vom Internet sind.
So gesehen ist es nicht der einzelne Gebrauch, nicht der einzelne Prompt oder die einzelne auf einem hiesigen Server installierte Instanz, die problematisch sind. Es ist der Umstand, dass Europa bei diesem Spiel nur eine Statistenrolle einnimmt. Und es kaum Alternativen zu den Modellen aus den USA und China gibt.
Allein, dass über 100 Wissenschaftler:innen der ETH Zürich, EPFL und weiteren Schweizer Hochschulen unter Federführung der Swiss AI Initiative ein grosses, offenes Sprachmodell erstellt und veröffentlicht haben, ist schon bemerkenswert. Denn dafür müssen ganz unterschiedliche Herausforderungen gemeistert werden. Zudem braucht es einen entsprechenden Computer zum Training des Modells: den Supercomputer Alps in Lugano.
Bau und Betrieb solcher Computer erfordern nicht nur hohe Investitionen, sondern auch entsprechendes Know-how. Apertus wurde während mehrerer Monate auf über 4000 Nvidia Chips trainiert. Allein die Stromkosten für diese Phase übersteigen die Millionengrenze. Die Schweiz hatte das Glück, Chips gekauft zu haben, bevor deren Exporte von der Regierung der USA beschränkt wurden.
Apertus ist bei weitem noch nicht da, wo die mit ungleich höheren Investitionen entwickelten Anwendungen der Konkurrenz sind. So naheliegend ein Vergleich zwischen ChatGPT und Apertus ist, so sehr verfehlt ein solcher die Frage, weshalb Apertus wichtig ist.
Einerseits ist Apertus ein wissenschaftliches Projekt, das dem Erforschen von Computertechnologie und dem Ausbilden von Fachkräften dient: Nur wenige Studierende haben die Möglichkeit, bereits während ihres Studiums an einem modernen KI-Modell zu arbeiten, wie es an der ETH Zürich und EPFL möglich ist.
Andererseits ist Apertus ein Basismodell – eine Art Motor – auf deren Grundlage zukünftig Anwendungen realisiert werden können, beispielsweise durch Anpassung («Feintuning») auf branchenspezifischen Daten. Mit der Veröffentlichung unter der Apache-Lizenz 2.0 steht dem kommerziellen Einsatz nichts im Weg. Das Interesse der Open Source Community ist riesig, was die mehr als zwei Millionen Downloads in den ersten Monaten verdeutlichen.
So betrachtet, hat die Reise mit und die Arbeit an Apertus gerade erst begonnen. Und ein offenes, europäisches LLM muss noch zeigen, wie es sich entwickelt. Eines ist heute schon klar: Es ist mehr als eine vergebene Chance, wenn nicht lauter und deutlicher gesagt wird, wie bedeutsam Apertus für den Forschungsplatz Schweiz ist.
KI und grosse Sprachmodelle sind gekommen, um zu bleiben. Und es ist wichtig, dass sich die Wissenschaft mit dieser Technologie direkt beschäftigt. Dass die Schweiz die Möglichkeit hat, ein solches Modell zu entwickeln und diese Technologie mitzugestalten, zählt viel.
