LegoGPT verwandelt Text in stabile Bauklötze - mit Physik-Check für jeden Stein
Kurz & Knapp
- LegoGPT ist ein KI-System der Carnegie Mellon University, das aus Textbeschreibungen stabile und baubare Lego-Modelle erzeugt. Es basiert auf einem autoregressiven Sprachmodell, das auf einem Datensatz von über 47.000 stabilen Lego-Strukturen trainiert wurde.
- Während der Generierung prüft LegoGPT jede Platzierung eines Steins auf Kollisionen, ungültige Positionen und physikalische Instabilität. Durch Verfahren wie "physics-aware rollback" und Rejection Sampling werden nur stabile Konstruktionen akzeptiert, die ein statisches Gleichgewicht erreichen.
- Die erzeugten Modelle lassen sich nicht nur von Menschen, sondern auch von Robotern automatisiert montieren. Zusätzlich unterstützt LegoGPT die textbasierte Gestaltung von Farbe und Textur, um unterschiedliche Erscheinungsbilder zu erzeugen. Im Vergleich zu aktuellen 3D-Generierungsverfahren erreicht LegoGPT eine deutlich höhere Erfolgsquote bei der Erzeugung stabiler und gültiger Modelle.
Ein KI-Modell der Carnegie Mellon University verwandelt Text in Lego-Modelle, die nicht nur gut aussehen, sondern auch stehen bleiben.
Mit LegoGPT stellt ein Team der Carnegie Mellon University ein KI-System vor, das aus Textbeschreibungen Lego-Modelle erzeugt. Die Modelle können dabei nicht nur von Menschen, sondern auch automatisiert von Robotern aufgebaut werden.
Grundlage der Methode ist ein autoregressives Sprachmodell, das ähnlich wie bei der Wortvorhersage im Text nun den nächsten Lego-Stein vorhersagt. Die Forscher trainierten das System auf einem eigens entwickelten Datensatz namens StableText2Lego, der über 47.000 stabile Lego-Strukturen umfasst. Die zugehörigen Beschreibungstexte wurden mit GPT-4o auf Grundlage von 3D-Renderings generiert.
Video: Pun, Deng, Liu et al.
Physikbasierte Prüfmechanismen sichern Stabilität
Während der Generierung prüft das Modell jede Platzierung eines Steins auf Kollisionen, ungültige Positionen und physikalische Instabilität. Erkennt das System ein Problem, wird der Entwurf bis zum letzten stabilen Zustand zurückgesetzt – ein Verfahren, das die Autoren als „physics-aware rollback“ bezeichnen. Zusätzlich kommt ein Rejection Sampling zum Einsatz, um ungültige Bausteine gar nicht erst zu akzeptieren.
Die Stabilitätsanalyse basiert auf einem physikalischen Modell, das alle Kräfte berücksichtigt, die auf einen Lego-Stein wirken – einschließlich Druck-, Zug- und Scherkräften. Nur Konstruktionen, die ein statisches Gleichgewicht erreichen, werden akzeptiert.
In einem Vergleich mit aktuellen 3D-Generierungsverfahren wie LLaMA-Mesh, XCube und Hunyuan3D-2 erreicht LegoGPT eine deutlich höhere Erfolgsquote bei der Erzeugung stabiler und gültiger Modelle. Während andere Verfahren teils instabile oder nicht baubare Strukturen erzeugen, liegt LegoGPT mit 98,8 Prozent stabiler Ergebnisse deutlich vorn.
KI-Texturen oder echte Lego-Farben
Ganz ohne Farbe wäre Lego langweilig. Deshalb verpasst LegoGPT seinen Modellen auf Wunsch auch Farbe und Textur. Eine Sofabeschreibung mit „japanischem Shibori-Stoff“ wird zur strukturierten Oberfläche in Indigo, ein „Cyberpunk-Flammenlack“ leuchtet in Neonviolett. Die Texturierung erfolgt per FlashTex, einem schnellen Verfahren zur Text-zu-Mesh-Beschichtung.
Neben UV-Texturen unterstützt LegoGPT aber auch Uniformfärbung mit echten Lego-Farben – damit das Design nicht nur digital, sondern auch im realen Baubeutel funktioniert.
Mehr Informationen und Beispiele gibt es auf der LegoGPT-Projektseite. Auf HuggingFace gibt es eine Demo.
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.