- Das neue Browsing-Update sorgt dafür, dass ChatGPT nicht mehr auf Websites zugreifen kann, die eine Sperre eingerichtet haben, auch wenn keine Paywall davor steht.
- So ist es beispielsweise nicht mehr möglich, auf die neuesten Nachrichten der New York Times zuzugreifen oder diese zu lesen.
ChatGPT kann jetzt wieder auf das Internet zugreifen. Laut OpenAI akzeptiert der Chatbot nun die Crawling-Anweisungen von Webseiten besser.
Für zahlende Kundinnen und Kunden von ChatGPT Plus und Enterprise ist das Surfen im Internet ab sofort wieder möglich. Diese Funktion wird in Kürze für alle Nutzerinnen und Nutzer eingeführt.
Um das Surfen zu aktivieren, muss im Auswahlmenü unter GPT-4 "Browse with Bing" ausgewählt werden. Damit setzt OpenAI weiterhin auf den Suchmaschinenalgorithmus von Microsoft für das Web-Crawling.
Laut OpenAI ist Bot-Browsing besonders nützlich, um aktuelle Inhalte zu verarbeiten, die nach September 2021 stattgefunden haben. Bis dahin reichen die Trainingsdaten von ChatGPT.
Das ChatGPT-Browsing befolgt laut OpenAI jetzt Anweisungen von Webseiten, ob und auf welche Inhalte ChatGPT zugreifen darf. Diese Einstellungen nimmt man über die robots.txt oder User-Agents vor. Außerdem markiert es direkte Links im ausgegebenen Text zu den Internetquellen, aus denen das Modell Inhalte entnommen hat.
Video: OpenAI
OpenAI verbessert ChatGPTs Webhygiene
OpenAI hatte die Browsing-Funktion nach dem Beta-Rollout im Mai Anfang Juli wieder zurückgezogen: Nutzerinnen und Nutzer hatten festgestellt, dass das Sprachmodell über die Browsing-Funktion Paywalls von Verlagen umgehen konnte.
Eine Funktion, die laut OpenAI "versehentlich" eingebaut wurde. Mit der Deaktivierung wolle man den Inhabern der Inhalte entgegenkommen, hieß es damals.
Beim erneuten Rollout jetzt äußert sich OpenAI nicht zur Umgehung von Paywalls, obwohl dies damals als Grund für den Rückzug genannt wurde. Der Verweis auf die Einhaltung von robots.txt und User-Agents ist wohl ein Hinweis darauf, dass OpenAI das Problem als gelöst oder wenigstens verbessert ansieht.
Ohnehin erscheint die Begründung vorgeschoben und nicht durchdacht: Paywall-Inhalte machen bei den meisten Verlagen nur einen kleinen Teil des Umsatzes aus. Was zählt, ist der Traffic auf der Website insgesamt.
ChatGPT untergräbt jedoch potenziell das gesamte Webtext-Ökosystem, das auf Traffic basiert, wenn es kostenlos aktuelle Webtexte verarbeitet, die es von Websites zieht, aber nur einen kleinen Teil des Traffics an die Quelle des Textes sendet.
Dieselbe Kritik gilt für Microsofts Bing Chat und Googles Search Generative Experience. Zwar erkennen alle großen Chatbot-Anbieter das Dilemma an, bieten aber bislang keine Lösungen.
