Cloudflare führt ein genehmigungsbasiertes Modell für KI-Crawler ein. Website-Betreiber erhalten mehr Kontrolle, während Medienhäuser und Plattformen auf einen faireren Umgang mit Originalinhalten hoffen.
Cloudflare blockiert künftig standardmäßig KI-Crawler, die ohne Zustimmung auf Inhalte zugreifen. Das Unternehmen will damit ein neues Gleichgewicht zwischen Content-Erstellerinnen und KI-Unternehmen schaffen.
Zudem haben KI-Unternehmen die Möglichkeit, transparent anzugeben, ob sie Daten für Training, Inferenz oder Suchzwecke nutzen. Betreiberinnen und Betreiber von Websites entscheiden dann, ob sie den Zugriff erlauben.
Die bisherige Praxis, Inhalte automatisiert zu erfassen und ohne Rückverweis oder Vergütung in KI-Systemen zu verwenden, sei nicht mehr tragbar, argumentiert Cloudflare.
"Originäre Inhalte sind das, was das Internet zu einer der großartigsten Erfindungen des letzten Jahrhunderts macht", sagt CEO Matthew Prince in einer Pressemitteilung.
Ohne Anreize zur Erstellung hochwertiger Inhalte drohe das Internet langfristig Schaden zu nehmen. Das Geschäftsmodell von Cloudflare basiert darauf, dass Menschen Webseiten betreiben und aufrufen.
Crawler-Zugriff ist künftig an Zustimmung gebunden
Bereits seit September 2024 können Cloudflare-Kunden mit einem Klick KI-Crawler blockieren. Diese Funktion wurde laut Cloudflare inzwischen von über einer Million Kunden genutzt.
Nun geht das Unternehmen einen Schritt weiter: Bei der Anmeldung neuer Domains wird standardmäßig abgefragt, ob KI-Crawler zugelassen werden sollen. Betreiberinnen und Betreiber müssen nicht länger manuell in den Einstellungen tätig werden. Der Zugriff kann weiterhin jederzeit aktiviert oder verweigert werden.
Zusätzlich hat Cloudflare eine private Beta für Pay Per Crawl gestartet – ein Marktplatz, über den Publisher KI-Unternehmen pro Seitenabruf zur Kasse bitten können. Statt Bots pauschal zu blockieren oder zuzulassen, können Betreiber dort einen Preis für den Zugriff festlegen, den KI-Firmen bezahlen müssen, wenn sie Inhalte crawlen wollen.
Um die Kontrolle über den Zugriff weiter auszubauen, beteiligt sich Cloudflare an der Entwicklung eines neuen Protokolls, mit dem sich KI-Bots künftig standardisiert identifizieren sollen. Ziel ist es, Website-Betreibern eine zuverlässigere Verifizierung zu ermöglichen und den Missbrauch durch anonymes Crawling zu verhindern.
Medienhäuser begrüßen neue Kontrollmöglichkeiten
Zahlreiche Medienunternehmen und Plattformen unterstützen den Schritt. Roger Lynch, CEO von Condé Nast, sieht in der Maßnahme "einen entscheidenden Schritt zur Gewährleistung eines gerechten Austauschs im Internet". Neil Vogel von Dotdash Meredith betont, dass man den Zugang zu Inhalten nun auf Partner beschränken könne, "die bereit sind, faire Vereinbarungen zu treffen".
Gannett Media, Betreiber des USA TODAY-Netzwerks, hofft, künftig besser gegen "unbefugtes Scraping und eine Nutzung unserer Originalinhalte ohne faire Vergütung" vorgehen zu können. Auch Pinterest, Reddit und Ziff Davis sehen in dem Modell eine Chance auf ein nachhaltigeres digitales Ökosystem.
Das genehmigungsbasierte Modell wird unter anderem von TIME, BuzzFeed, The Atlantic, Snopes, Sky News Group, USA TODAY Network, Reddit, Quora, Pinterest und Stack Overflow unterstützt. Auch Organisationen wie Digital Content Next, IAB Tech Lab und O'Reilly Media zählen zu den Befürwortern. Sie alle sehen in der Maßnahme einen ersten Schritt hin zu einem gerechteren Verhältnis zwischen KI-Betreibern und Urheberinnen und Urhebern digitaler Inhalte.
Cloudflare-Chef warnt vor dem Kollaps des offenen Webs
Vor kurzem hatte Cloudflare-CEO Matthew Prince in einem Interview davor gewarnt, dass das Geschäftsmodell des freien Internets in akuter Gefahr sei. Während Google vor zehn Jahren für jede zwei gecrawlten Seiten noch einen Nutzer zur Ursprungsseite weiterleitete, liege das Verhältnis inzwischen bei 18:1. Bei KI-Modellen wie OpenAI oder Anthropic sei die Situation noch drastischer: Dort würden bis zu 60.000 Seiten gecrawlt, um einen einzigen Besucher zu generieren.
