Neue KI-Architektur: Liquid AI präsentiert Alternative zu Transformern

Das KI-Startup Liquid AI hat neue Foundation Models vorgestellt, die nicht auf der üblichen Transformer-Architektur basieren. Die sogenannten Liquid Foundation Models (LFMs) sollen nach Angaben des Unternehmens bei vergleichbarer Größe besser abschneiden als Modelle wie Metas Llama 3 oder Microsofts Phi-3. Bereits das kleinste Modell LFM 1.3B übertrifft laut Liquid AI in vielen Benchmarks Metas neues Llama 3.2-1.2B. Die LFMs sind in drei Größen erhältlich: 1,3 Milliarden, 3 Milliarden und 40 Milliarden Parameter. Sie sollen besonders speichereffizient sein und sich für verschiedene Datentypen wie Text, Audio und Video eignen. Liquid AI wurde von ehemaligen Forschern des MIT gegründet, Teammitglieder waren unter anderem an StripedHyena beteiligt. Liquid AI plant eine Produkteinführung am 23. Oktober 2024 am MIT, die Modelle sind nicht Open-Source. Liquid kann über den Playground ausprobiert werden.