Google Gemini 2.5 kann Bildinhalte jetzt per natürlicher Sprache analysieren und markieren
Kurz & Knapp
- Google hat für Gemini 2.5 eine Funktion vorgestellt, die es ermöglicht, Bildinhalte direkt per Sprache zu analysieren und zu markieren – inklusive komplexer Beschreibungen, logischer Bedingungen und mehrsprachiger Eingaben.
- Praktische Anwendungen reichen von sprachgesteuerter Bildbearbeitung über das Erkennen von Sicherheitsverstößen auf Baustellen bis zur automatisierten Schadensmarkierung in Versicherungsbildern, ohne dass Spezialmodelle nötig sind.
- Entwickler:innen können die Funktion via Gemini API nutzen, erhalten die Ergebnisse als JSON mit Koordinaten und Masken, und Google empfiehlt für beste Resultate das Modell gemini-2.5-flash mit speziellen API-Einstellungen.
Google hat eine neue Funktion für das KI-Modell Gemini 2.5 vorgestellt, die es ermöglicht, Bildinhalte direkt über natürliche Sprache zu analysieren und zu markieren.
Die sogenannte „conversational image segmentation“ geht über herkömmliche Bildsegmentierung hinaus, bei der Objekte meist anhand fester Kategorien wie „Hund“, „Auto“ oder „Stuhl“ erkannt wurden.
Stattdessen kann Gemini jetzt auch komplexe sprachliche Beschreibungen verstehen und auf einzelne Bildbereiche anwenden. Dazu gehören relationale Anfragen wie „die Person mit dem Regenschirm“, logisch konditionierte Aussagen wie „alle Personen, die nicht sitzen“, sowie abstrakte Begriffe wie „Unordnung“ oder „Schaden“, die keine klar definierte visuelle Form haben. Auch Bildinhalte, die sich nur über eingeblendeten Text eindeutig identifizieren lassen – etwa „die Pistazien-Baklava“ in einer Vitrine –, erkennt das Modell mithilfe integrierter Texterkennung. Schließlich unterstützt Gemini auch mehrsprachige Eingaben und liefert bei Bedarf Objektbeschriftungen in anderen Sprachen wie Französisch.
Praktische Einsatzzwecke
Die Technik lässt sich laut Google in verschiedenen Bereichen einsetzen. In der Bildbearbeitung etwa können Designer statt mit Maus und Auswahlwerkzeugen einfach per Sprache sagen, was sie bearbeiten möchten – zum Beispiel „den Schatten des Gebäudes auswählen“.
In der Arbeitssicherheit kann Gemini auf Bildern oder Videos gezielt nach Regelverstößen suchen, etwa „alle Personen auf der Baustelle ohne Helm“.
Auch im Versicherungswesen ist die Funktion nützlich: Ein:e Sachverständige:r kann mit einem Befehl wie „markiere alle Häuser mit Sturmschäden“ automatisch beschädigte Gebäude in Luftbildern hervorheben – ohne jedes Objekt manuell prüfen zu müssen.
Keine Spezialmodelle nötig
Für Entwickler:innen ist die Funktion über die Gemini API zugänglich. Die Anfragen laufen direkt über das Gemini-Modell, das mit dieser Fähigkeit ausgestattet ist.
Die Ausgaben erfolgen im JSON-Format und enthalten die Koordinaten des Bildausschnitts (box_2d), eine Pixelmaske (mask) und die beschreibende Bezeichnung (label).
Für die besten Ergebnisse empfiehlt Google die Verwendung des Modells gemini-2.5-flash. Außerdem soll der sogenannte „thinkingBudget“-Parameter auf null gesetzt werden, um eine direkte Antwort zu erzwingen.
Erste Tests sind über Google AI Studio oder Python Colab möglich.
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.