Adepts multimodales Fuyu-Heavy-Modell kann UIs verstehen und Aktionen ausführen

Adept hat kürzlich Fuyu-Heavy vorgestellt, ein neues multimodales KI-Modell für digitale Agenten. Fuyu-Heavy ist nach GPT-4V und Gemini Ultra das drittstärkste multimodale Modell und zeichnet sich nach Angaben des Unternehmens durch multimodales Denken und UI-Verständnis aus. Es schneidet bei traditionellen multimodalen Benchmarks gut ab und erreicht oder übertrifft die Leistung von Modellen derselben Leistungsklasse bei standardmäßigen textbasierten Benchmarks. Das Modell schneidet bei Chat-Bewertungen ähnlich gut ab wie Claude 2.0 und ist beim MMMU-Benchmark etwas besser als Gemini Pro. Fuyu-Heavy wird demnächst das Unternehmensprodukt von Adept antreiben, und die bei seiner Entwicklung gewonnenen Erkenntnisse fließen bereits in den Nachfolger ein. Das folgende Video demonstriert die Fähigkeit des Modells, eine Benutzerschnittstelle zu verstehen.