Das Trillionen Parameter Consortium will gigantische, interdisziplinäre KI-Modelle für die Wissenschaft trainieren. Zu den Gründungsmitgliedern gehören die führende Forschungseinrichtungen, nationale Supercomputerzentren und Unternehmen.
Ein globales Konsortium von Wissenschaftlern aus Bundeslaboratorien, Forschungsinstituten, der akademischen Welt und der Industrie hat sich zusammengeschlossen, um KI-Modelle für wissenschaftliche Entdeckungen voranzutreiben - mit besonderem Schwerpunkt auf riesigen Modellen mit einer Größe von einer Billion oder mehr Parametern.
Das Trillion Parameter Consortium (TPC) identifiziert als besondere Herausforderungen die Entwicklung skalierbarer Modellarchitekturen und Trainingsstrategien, die Organisation und Kuratierung wissenschaftlicher Daten für das Training von Modellen, die Optimierung von KI-Bibliotheken für aktuelle und zukünftige Exascale-Computing-Plattformen sowie die Entwicklung tiefgreifender Evaluierungsplattformen.
Das TPC zielt darauf ab, eine offene Gemeinschaft von Forschenden zu schaffen, die oft bereits in kleinen Gruppen an der Entwicklung von groß angelegten generativen KI-Modellen für wissenschaftliche und technische Probleme arbeiten. Konkret sollen gemeinsame Projekte initiiert werden, um Doppelarbeit zu vermeiden und Methoden, Ansätze, Werkzeuge, Wissen und Arbeitsabläufe gemeinsam zu nutzen. Das Konsortium hofft, auf diese Weise den Einfluss der Projekte auf die breitere KI- und Wissenschaftsgemeinschaft zu maximieren.
TPC setzt auf neue Exascale-Computing-Plattformen
Ziel ist aber nicht nur die Zusammenarbeit einzelner Arbeitsgruppen: Es soll ein globales Netzwerk von Ressourcen, Daten und Expertise entstehen. Seit seiner Gründung hat das Konsortium eine Reihe von Arbeitsgruppen eingerichtet, die sich mit der Komplexität des Aufbaus großer KI-Modelle befassen.
Diese sollen Initiativen zur Nutzung aufkommender Exascale-Computing-Plattformen für das Training von LLMs (Large Language Models) oder alternative Modellarchitekturen für die wissenschaftliche Forschung leiten. Modelle mit Billionen von Parametern stellen die Grenze heutiger KI-Modelle dar, und nur die größten kommerziellen KI-Systeme wie GPT-4 erreichen derzeit diese Größenordnung.
Die für das Training erforderlichen Exascale-Computing-Ressourcen werden von mehreren National Laboratories des US Department of Energy (DOE) und mehreren TPC-Gründungspartnern in Japan, Europa und anderen Ländern zur Verfügung gestellt. Selbst mit diesen Ressourcen werde das Training mehrere Monate in Anspruch nehmen.
Neue KI-Modelle sollen disziplinübergreifend arbeiten können
"In unserem Labor und in einer wachsenden Zahl von Partnerinstitutionen auf der ganzen Welt beginnen Teams, Grenz-KI-Modelle für den wissenschaftlichen Einsatz zu entwickeln und riesige Mengen bisher ungenutzter wissenschaftlicher Daten für das Training vorzubereiten", so Rick Stevens, stellvertretender Laborleiter für Informatik, Umwelt und Lebenswissenschaften am Argonne National Laboratory des DOE und Professor für Informatik an der University of Chicago.
"Wir haben das TPC gemeinsam ins Leben gerufen, um diese Initiativen zu beschleunigen und schnell das Wissen und die Werkzeuge zu schaffen, die für die Erstellung von KI-Modellen erforderlich sind, die nicht nur domänenspezifische Fragen beantworten, sondern auch Wissen über wissenschaftliche Disziplinen hinweg synthetisieren können."
Die Liste der Gründungspartner umfasst zahlreiche führende KI-Forschungseinrichtungen, -Unternehmen und Hardwarehersteller.
