Google hat eine neue Funktion für das KI-Modell Gemini 2.5 vorgestellt, die es ermöglicht, Bildinhalte direkt über natürliche Sprache zu analysieren und zu markieren.
Die sogenannte „conversational image segmentation“ geht über herkömmliche Bildsegmentierung hinaus, bei der Objekte meist anhand fester Kategorien wie „Hund“, „Auto“ oder „Stuhl“ erkannt wurden.
Stattdessen kann Gemini jetzt auch komplexe sprachliche Beschreibungen verstehen und auf einzelne Bildbereiche anwenden. Dazu gehören relationale Anfragen wie „die Person mit dem Regenschirm“, logisch konditionierte Aussagen wie „alle Personen, die nicht sitzen“, sowie abstrakte Begriffe wie „Unordnung“ oder „Schaden“, die keine klar definierte visuelle Form haben. Auch Bildinhalte, die sich nur über eingeblendeten Text eindeutig identifizieren lassen – etwa „die Pistazien-Baklava“ in einer Vitrine –, erkennt das Modell mithilfe integrierter Texterkennung. Schließlich unterstützt Gemini auch mehrsprachige Eingaben und liefert bei Bedarf Objektbeschriftungen in anderen Sprachen wie Französisch.
Praktische Einsatzzwecke
Die Technik lässt sich laut Google in verschiedenen Bereichen einsetzen. In der Bildbearbeitung etwa können Designer statt mit Maus und Auswahlwerkzeugen einfach per Sprache sagen, was sie bearbeiten möchten – zum Beispiel „den Schatten des Gebäudes auswählen“.
In der Arbeitssicherheit kann Gemini auf Bildern oder Videos gezielt nach Regelverstößen suchen, etwa „alle Personen auf der Baustelle ohne Helm“.
Auch im Versicherungswesen ist die Funktion nützlich: Ein:e Sachverständige:r kann mit einem Befehl wie „markiere alle Häuser mit Sturmschäden“ automatisch beschädigte Gebäude in Luftbildern hervorheben – ohne jedes Objekt manuell prüfen zu müssen.
Keine Spezialmodelle nötig
Für Entwickler:innen ist die Funktion über die Gemini API zugänglich. Die Anfragen laufen direkt über das Gemini-Modell, das mit dieser Fähigkeit ausgestattet ist.
Die Ausgaben erfolgen im JSON-Format und enthalten die Koordinaten des Bildausschnitts (box_2d), eine Pixelmaske (mask) und die beschreibende Bezeichnung (label).
Für die besten Ergebnisse empfiehlt Google die Verwendung des Modells gemini-2.5-flash. Außerdem soll der sogenannte „thinkingBudget“-Parameter auf null gesetzt werden, um eine direkte Antwort zu erzwingen.
Erste Tests sind über Google AI Studio oder Python Colab möglich.
