Von 2021 bis 2022 trafen sich über 1000 Forscher:innen aus 250 Einrichtungen auf der ganzen Welt zu einem Workshop über Large Language Models (LLMs), organisiert vom BigScience-Projekt. Das wichtigste Ergebnis ist BigScience-Projekt. Das wichtigste Ergebnis ist BLOOM ("BigScience Large Open-science Open-access Multilingual Language Model"), ein Transformer-basiertes Modell, das mit 176 Milliarden Parametern trainiert wurde.
BLOOM verwendet die gleiche Technologie wie das durch ChatGPT bekannte GPT-3 und Google Bards LaMDA – aber mit einem entscheidenden Unterschied.
Die Entwicklung dieser kommerziellen Sprachmodelle war zum Zeitpunkt des Workshops bereits weit fortgeschritten. Daher wählten die BigScience-Forscher:innen für die Entwicklung und das Training von BLOOM einen anderen Ansatz, wodurch sich dieses frei zugängliche Modell vom Rest abhebt.
Wie unterscheidet sich BLOOM von GPT-3 und LaMDA?
Es gibt drei Hauptunterschiede zwischen BLOOM und den Sprachmodellen von OpenAI und Google: der Open-Source-Ansatz, der Ethik-Fokus und der Umgang mit kultureller Vielfalt.
Sehen wir uns diese Unterschiede nun genauer ein.
1. BLOOM ist Open-Source
Während GPT-3 und LaMDA nur so viele Einblicke in ihre Trainingsdaten und Algorithmen gewähren, wie die Entwicklungsteams für notwendig erachten, ist der Quellcode von BLOOM für alle einsehbar. Interessierte können das gesamte Modell kostenlos herunterladen und in ihre eigenen Projekte integrieren, vorausgesetzt, sie verfügen über die nötige Rechenleistung, um es auch tatsächlich auszuführen.
Der offene Zugang macht das Modell attraktiv für Non-Profit-Projekte. Da die Nutzung einer kommerziellen API wie jener von ChatGPT finanziell nicht immer realistisch ist, stellt BLOOM hier eine gute Alternative dar. Dies fördert eine größere Vielfalt an Projekten, abseits der Vielzahl von KI-basierten Business-Lösungen.
2. BLOOM betont die ethische Nutzung
Die Entwicklungsteams verschiedener generativer KI-Modelle sind dafür kritisiert worden, dass sie das Werk anderer unerlaubt als Trainingsdaten verwendet haben. Auch lassen sich diese LLMs für unrühmliche Zwecke nutzen, was ein gewisses Gefahrenpotenzial birgt.
Das BLOOM-Team hat diese beiden Fallstricke bei der Entwicklung seines Sprachmodells in Betracht gezogen. Anstatt einfach das Internet nach so vielen Daten wie möglich zu durchforsten – und damit auch gängige Vorurteile zu reproduzieren – bezog das Forschungsteam den Input anhand vordefinierter Richtlinien. Die Quellen sind zudem online einsehbar.
Auch schufen sie die Responsible AI License, welche die Nutzung von BLOOM zu einem gewissen Grad regeln soll. Während Fragen rund um geistiges Eigentum und Vertriebsrechte bei generativen KI-Modellen noch immer umstritten sind, gelten für BLOOM klare Nutzungsregeln.
3. BLOOM spricht 46 Sprachen
Von Anfang an stand Vielfalt im Mittelpunkt des BigScience-Projekts, das Forscher:innen aus aller Welt vereint und deren Beiträge in das Endprodukt einfließen lässt. Dies spiegelt sich auch im BLOOM-Sprachmodell wider, das mit Benutzer:innen in 46 verschiedenen Sprachen interagieren kann, darunter 13 indische und 20 afrikanische Sprachen. Außerdem beherrscht es 13 Programmiersprachen.
Die Anzahl der unterstützten Sprachen ist jedoch nicht das, was es von GPT-3 und LaMDA unterscheidet. Vielmehr ist es die Vielfalt der kulturellen Perspektiven: Forscher:innen aus der ganzen Welt erstellten mit viel Sorgfalt hochwertige Datensätze, die damit nicht nur mehrsprachigen Input, sondern auch unterschiedliche Sichtweisen auf die Welt beinhalteten.
Ein Plädoyer für Open-Source-KI
BLOOM ist ein Paradebeispiel für die transparente Entwicklung neuer Technologien. Es ist jedoch nicht das einzige quelloffene Modell.
So legte etwa Meta den Code von OPT-175B offen, das seinen Namen von den 175 Milliarden Parametern ableitet, mit denen es trainiert wurde. OpenAIs neuronales Netz Whisper ist nun ebenfalls ein Open-Source-Projekt, womit es alle, die über die erforderlichen technischen Kenntnisse verfügen, zur Transkription gesprochener Sprache verwenden können.
So stehen die Zeichen gut für eine Zukunft, in der frei zugängliche KI-Modelle mit ihren kommerziellen Pendants koexistieren.
Möchten Sie über die neuesten Entwicklungen in den Bereichen maschinelles Lernen und Computer Vision auf dem Laufenden bleiben? Dann behalten Sie unseren Blog für mehr zu diesen Themen im Auge!