Alibabas Fahr-KI erklärt, warum sie bremst, aber die Begründung stimmt nicht immer

Qwen-Drive-1.0 soll drei Aufgaben in einem einzigen KI-Modell bündeln: die räumliche Erfassung der Umgebung, das Beantworten von Fragen zur Verkehrssituation und das Planen der Fahrt. Die Forscher bestätigen dabei, dass ein Sprach-Bild-Modell den dreidimensionalen Raum nicht automatisch versteht, nur weil es Bilder beschreiben kann.

Bisherige Fahrmodelle nehmen ein allgemeines Sprach-Bild-Modell und trainieren es mit Fahrdaten weiter, vor allem mit Fragen und Antworten zu Verkehrssituationen. Laut dem Paper hat der Ansatz zwei Schwächen. Ein Modell, das primär über Frage-Antwort-Aufgaben zum Verkehr trainiert wird, erfasst Entfernungen, Positionen und freie Flächen bisher nicht zuverlässig.

Außerdem droht das, was die Forscher "katastrophales Vergessen" nennen. Wird das Modell zu stark auf Fahrdaten spezialisiert, verliert es das breite Allgemeinwissen aus seinem ursprünglichen Training. Gerade bei seltenen und unerwarteten Verkehrssituationen ist genau dieses Wissen wichtig. Das von Alibabas Forschungsabteilung entwickelte Modell setzt an beiden Schwächen an.

Ein Zusatzmodul prüft, ob das Modell den Raum wirklich versteht

Qwen-Drive-1.0 nutzt als Grundlage das im Februar veröffentlichte Qwen3.5-4B, ergänzt es aber um zwei zusätzliche Bausteine. Der erste erstellt eine Karte der Umgebung aus der Vogelperspektive. Er erkennt Objekte im dreidimensionalen Raum, bestimmt, welche Bereiche belegt sind, und zeichnet den Straßenverlauf nach. Zugleich dient er laut den Forschern als eine Art Messinstrument, das anzeigt, wie viel räumliche Information das Modell überhaupt aus den Bildern herausholt.

Der zweite Baustein, der Planning Expert, nutzt interne Modellinformationen, um die künftige Fahrbewegung des Autos zu planen. Trainierten die Forscher nur den Zusatzbaustein und ließen das Sprach-Bild-Modell unangetastet, blieb die räumliche Genauigkeit gering. Das deutet darauf hin, dass ein Modell, das Bilder detailliert beschreiben kann, den dreidimensionalen Raum eben nicht automatisch versteht.

Erst als das Team auch das eigentliche Sprach-Bild-Modell mit den räumlichen Aufgaben mittrainierte, stiegen die Werte deutlich an. Die Fähigkeit, Verkehrsszenen räumlich zu erfassen, muss also gezielt antrainiert werden.

Aufbereitete Daten aus 24 Quellen

Zuerst wird der Wahrnehmungsbaustein vorbereitet, dann werden Wahrnehmung und Fragebeantwortung gemeinsam trainiert, anschließend die Fahrplanung. Im letzten Schritt verbessert das Team das Verhalten des Modells durch Reinforcement-Learning.

Für den Sprach-Bild-Teil führte das Team 24 öffentlich verfügbare Datensätze mit Verkehrsszenen zusammen. Die Daten waren unterschiedlich aufgebaut und teils fehlerhaft. Das Team ließ Fragen und Antworten von einem KI-Modell vereinheitlichen und mit den ursprünglichen Angaben abgleichen. Zusätzlich erstellte es eigene Beispiele, in denen erklärt wird, warum das Auto eine bestimmte Fahrentscheidung treffen soll, etwa welches Objekt ein Bremsen auslöst.

Ein Modell für Cockpit und Fahrsystem zugleich

In modernen Fahrzeugen wachsen Infotainment-System und Fahrsystem auf einer gemeinsamen Recheneinheit zusammen, statt auf zwei getrennten Steuergeräten zu laufen. Ein Modell, das seine allgemeinen Fähigkeiten zugunsten der reinen Fahrleistung aufgibt, hilft in diesem Szenario wenig, argumentieren die Autoren. Das Cockpit bräuchte für Aufgaben wie Dialoge oder das Beantworten offener Fragen wieder ein eigenes Modell und zusätzliche Rechenleistung.

Bei Fragen zu Verkehrsszenen schneidet Qwen-Drive-1.0 laut Paper spürbar besser ab als das unveränderte Ausgangsmodell Qwen3.5-4B. Besonders groß sei der Vorsprung, wenn es darum geht, Ursache und Wirkung in einer Szene zu erklären, also warum das Auto bremsen oder abbiegen sollte. Gleichzeitig büßt das Modell kaum allgemeines Wissen ein. In Tests außerhalb des Autofahrens verliert es kaum an Leistung, bei einigen räumlichen Aufgaben schneidet es sogar etwas besser ab.

Von der Simulation auf die Straße

Für die Fahrplanung testete das Team das Modell in mehreren Schwierigkeitsstufen, von einfachen Vorhersagen bis zu einem Simulator, in dem sich Fehler über die Zeit aufschaukeln können. Dort halbierte das mit Belohnungen nachtrainierte Modell die Rate, mit der das Auto von der Straße abkommt, von 24 auf 12 Prozent. Allerdings fuhr es vorsichtiger und kam insgesamt weniger weit voran.

Die Begründungen des Modells treffen die eigentliche Ursache einer Situation allerdings nicht immer richtig, etwa wenn eine rote Ampel in der Ferne und ein plötzlich auftauchendes Kind unterschiedlich schnelle Reaktionen verlangen.

Zudem passt die vom Modell geplante Fahrbewegung nicht immer zu der Begründung, die es zuvor formuliert hat. Einige Ergebnisse beruhen auf eigenen oder von den Autoren nachgebauten Testverfahren. Einzelne Kennzahlen zeigen daher nicht vollständig, wie gut ein System in komplexen Fahrsituationen tatsächlich reagiert.

Das Qwen-Team hat die Lücke im räumlichen Verständnis selbst vermessen. Bei HopChain zählten Sprach-Bild-Modelle Objekte falsch und verwechselten räumliche Beziehungen, obwohl sie auf Bild-Text-Benchmarks gut abschnitten. Auch das katastrophale Vergessen ist ein bekanntes Phänomen. Google Deepmind hatte 2023 mit PaLM-E ein Modell für Sprache, Bild und Robotersteuerung gebaut. Kleinere Varianten verloren durch das Robotertraining deutlich an Sprachfähigkeit, während das größte Modell mit 562 Milliarden Parametern kaum etwas einbüßte.

Die Verbindung von Sprachmodell und Fahrfunktion öffnet allerdings eine neue Angriffsfläche. Forscher der UC Santa Cruz brachten das Fahrsystem DriveLM mit einem beschrifteten Schild im Sichtfeld der Kamera dazu, in kreuzende Fußgänger abzubiegen, obwohl es sie korrekt erkannt hatte. Parallel verschiebt sich die Forschung zu World Action Models, die zusätzlich vorhersagen, wie sich die Umgebung durch die eigene Handlung verändert.

Das Qwen-Team stellt das Modell der Forschungsgemeinschaft unter Hugging Face, ModelScope und GitHub kostenlos zur Verfügung.