Die Data-Labeling-Plattform "Surge" hat die Ergebnisse von Google und ChatGPT bei 500 Suchanfragen verglichen - und bezeichnet ChatGPT als "existenzielle Bedrohung" für Google.
Für die Untersuchung holte Surge von 100 Mitarbeitenden fünf Suchanfragen zu grundlegenden Informationen ein. Die Anfragen mussten sich auf Wissen vor 2022 beziehen, da ChatGPT im Training nur Wissen bis zu diesem Zeitpunkt aufgenommen hat.
ChatGPT leicht vor Google
Die Mitarbeitenden stellten ihre Anfrage erneut an Google und als Gesprächsaufforderung an ChatGPT. Die Resultate und Antworten bewerteten sie dann: In 42 Prozent der Fälle hatte ChatGPT die Nase vorn, in 40 Prozent Google - obwohl ChatGPT nicht für die Suche optimiert ist.
Bei der qualitativen Evaluation zeigt sich, dass ChatGPT mehr Ausreißer nach oben und nach unten hatte, also Resultate, die als "unglaublich", "schlecht" und "furchtbar" kategorisiert wurden.
Insbesondere bei Code-Anfragen soll ChatGPT überlegen sein, da es direkt den konkreten Code ausspielt statt Links zu Webseiten, die den passenden Code enthalten - oder auch nicht.
Edwin Chen von Surge, ehemaliger Google-Angestellter, wertet die Ergebnisse der Untersuchung als sehr positiv für ChatGPT, da das bisherige Interface nicht einmal für die Suche optimiert und mit dem Internet verbunden sei. Mit WebGPT stellte OpenAI bereits KI-Technologie vor, die Informationen im Internet nachschlagen kann.
"Google sollte das Killer-KI-Unternehmen sein; zeitweise war es das auch. Aber ist die Herrschaft des Unternehmens - und seine Dominanz als intelligenteste Suchmaschine der Welt - angesichts der rasanten Entwicklung von Sprachmodellen bald zu Ende?", fragt Chen.
Formatierung und Komfort vs. Akkuratheit und Multimedia
Ein Blick in die Detailauswertung einzelner Suchergebnisse und Chat-Antworten zeigt, dass die Surge-Angestellten speziell den Komfort und die ausformulierten Antworten von ChatGPT gegenüber der manuellen Recherche über mehrere Webseiten hinweg bevorzugten.
"Während Google mir eine Fülle von Informationen bot, die mich schließlich zu einer hilfreichen Antwort führten, vereinfachte ChatGPT die Ergebnisse, die ich suchte", schreibt ein Studienteilnehmer.
Für ChatGPT spricht laut der Untersuchung die Fähigkeit, Informationen aus verschiedenen Quellen in eine Antwort zusammenzuführen, das minimalistische Interface ohne Werbung und ChatGPTs Fähigkeit, komplexe Anfragen zu verarbeiten.
"ChatGPT ist sehr nützlich, da es die Notwendigkeit beseitigt, mehrere Webseiten zu besuchen, um eine vollständige Antwort zu erhalten", urteilt ein Studienteilnehmer.
Die negativen ChatGPT-Beispiele sind Antworten mit falschen Informationen, die das Modell dennoch mit der gleichen Selbstsicherheit wie richtige Informationen präsentiert, und die Verweigerung von Antworten, etwa bei Themen mit aktuellem Bezug.
"Mir gefällt das Format der KI-Antwort - nämlich die Tatsache, dass sie sofort ein Beispielzitat liefert -, aber sie ist zu ungenau, um wertvoll zu sein", schreibt ein Studienteilnehmer, der eine Anfrage zu einer bestimmten Zitationsform stellte.
Ein Studienteilnehmer kritisiert, dass ChatGPT mit allen Themen Probleme habe, die nicht etabliertes Wissen seien. "In Anbetracht des Mangels an korrekten Antworten war ich nicht beeindruckt und würde es in seinem jetzigen Zustand nicht über eine Suchmaschine benutzen", schreibt ein Teilnehmer.
Zudem fehlen den ChatGPT-Antworten noch audiovisuelle Medien. Letztgenanntes Problem hat Google mit der multimodalen Dialog-KI LaMDA bereits gelöst.
Chat-KI als Such-Ersatz: Viele Fragezeichen
Im Kontext von ChatGPT als Such-Ersatz ergeben sich zudem viele weitere Fragen, etwa nach der Zitierfähigkeit von ChatGPT, also letztlich die Frage nach inhaltlicher Verantwortung, nach der Verifizierung von Informationen und deren Aktualität.
Für wahrscheinlicher halte ich daher, wie ich an anderer Stelle bereits schrieb, dass Google und andere Suchmaschinenanbieter Systeme wie ChatGPT nutzen werden, um im ersten Schritt ihre regulären Suchergebnisse mit verifizierten KI-Antworten anzureichern.
Google hat mit der No-Click-Suche, also dem Anzeigen von Informationen von einer Webseite direkt in der Google-Suche, bereits ein entsprechendes Interface in die eigene Suche integriert. Die dort angezeigten Informationen könnten zukünftig von einer KI geschrieben und mit Quellen belegt werden, die die KI-Antwort bestätigen.
Das hätte für Google und Co. den Charme, dass sie bei passenden Suchanfragen noch genauere Antworten liefern könnten. Die Schwachstellen der KI-Systeme könnten sie umgehen, indem sie KI-Antworten etwa bei Suchanfragen mit aktuellem Bezug deaktivieren.
In diesem Szenario könnte ein Suchanbieter wie Google noch mehr Nutzende gewinnen und länger an sich binden, während die Anbieter von Informationen, etwa Verlage, das Nachsehen hätten, da sie weniger Zugriffe aus der Suche auf die eigenen Inhalte erhalten. Eine weitere Konsolidierung der Online-Medienbranche könnte die Folge sein.
