Das Technology Innovation Institute aus Abu Dhabi hat die dritte Generation seiner Falcon-Sprachmodelle vorgestellt. Die Open-Source-KI soll auch auf Laptops laufen und neue Leistungsstandards für kleine Modelle setzen.
Die Modelle der Falcon-3-Serie wurden mit 14 Billionen Token trainiert, mehr als doppelt so viel wie der Vorgänger Falcon 2 mit 5,5 Billionen Token. In mehreren Benchmarks zeigt Falcon 3 laut TII stärkere Leistung. Insbesondere gehöre es zu den weltweit leistungsstärksten Sprachmodellen, die auf einer einzigen GPU laufen können.
Bei der Veröffentlichung erreichte Falcon 3 den ersten Platz in der globalen Rangliste von Drittanbieter-Sprachmodellen der Plattform Hugging Face. Dort übertraf es dem Institut zufolge andere Open-Source-Modelle ähnlicher Größe wie Metas Llama-3.1-8B, Qwen2.5-7B, Mistrals NeMo-12B und Googles Gemma2-9B.
Falcon 3 in vier Modellgrößen verfügbar
Die Serie besteht aus vier verschiedenen Modellgrößen: Falcon-3-1B, -3B, -7B und -10B. Jedes Modell ist in einer Base-Version für allgemeine Aufgaben und einer Instruct-Version für Konversationsanwendungen verfügbar.
Falcon 3 gibt es in verschiedenen Spezial-Ausgaben für Englisch, Französisch, Spanisch und Portugiesisch, generell beherrschen die Modelle jedoch alle üblichen Sprachen.
Laut TII wurde bei der Entwicklung besonderer Wert auf die Integration der Modelle in andere Umgebungen gelegt. Sie seien deshalb mit verbreiteten APIs und Bibliotheken kompatibel. Zusätzlich gebe es ressourceneffiziente, quantisierte Versionen für die Integration in spezielle Architekturen.
Multimodale Fähigkeiten ab nächstem Jahr
Anfang Januar 2025 will das Institut die Falcon-3-Serie um Modelle mit Schwerpunkt auf multimodalen Funktionen wie Verständnis für Bild, Video und Sprache erweitern.
Falcon 3 steht ab sofort auf Hugging Face zum Download bereit. Auf der offiziellen Website finden sich auch weitere Details zu den Benchmarks.
Zusätzlich hat TII mit einen kostenlosen Chatbot veröffentlicht, in dem Endnutzer:innen, Entwickler:innen und Forschende die verschiedenen Modelle ausprobieren und Feedback geben können. Beim Design hat sich TII offenbar stark von ChatGPT inspirieren lassen und sogar bereits neue Funktionen wie Projektordner und Artefakte implementiert.
Die Modelle stehen unter der TII Falcon License, einer auf Apache 2.0 basierenden Open-Source-Lizenz mit Richtlinien zur Förderung des verantwortungsvollen Einsatzes von KI.
Falcon 3 ist das jüngste Open-Source-Modell mit relativ wenigen Parametern, das aber zumindest in Benchmarks mit überdurchschnittlicher Leistung punktet. Kürzlich hat Microsoft beispielsweise Phi-4 vorgestellt, das in eine ähnliche Richtung geht - hier sind hochwertige Trainingsdaten ergänzt durch synthetische Daten das Geheimrezept.
