Während Google seine Marktmacht nutzt, um Verlage dazu zu bringen, ihre Inhalte für KI-Antworten freizugeben, muss Apple Lizenzvereinbarungen aushandeln. Denn viele Verlage blockieren Apples KI-Crawler.
Laut einem Bericht von WIRED blockieren zahlreiche Organisationen, darunter Facebook, Instagram, Craigslist, Tumblr, die New York Times, die Financial Times, The Atlantic, Vox Media, das USA Today Network und WIREDs Muttergesellschaft Condé Nast, ihre Daten vom KI-Training durch Apple. Eine Reihe dieser Seiten und Verlage haben bereits einen Lizenz-Deal mit OpenAI abgeschlossen.
Apple hatte kürzlich einen neuen Crawler namens Applebot-Extended vorgestellt, den Webseitenbetreiber über die Datei robots.txt vom Crawling der eigenen Webseite ausschließen können. Damit verhindern sie, dass ihre Daten Teil von Apples KI-Trainingsdaten werden.
Insgesamt sollen derzeit etwa sieben Prozent von 1.000 analysierten Webseiten den KI-Applebot blockieren. Möglicherweise ist es den Webseitenbetreibern egal oder sie sind mit der Thematik nicht vertraut. In einer zweiten Analyse von Datenjournalist Ben Welsh blockierten 294 von 1.167 hauptsächlich englischsprachigen, in den USA ansässigen Publikationen den Applebot-Extended.
Ähnliche Herausforderungen haben auch Anthropic, OpenAI und Google. Besonders OpenAI kämpft mit viel höheren Blockraten seines Crawlers.
Google hat den längsten Hebel
Da Apple und OpenAI für ihre KI-Produkte qualitativ hochwertige Trainingsdaten und aktuelle Nachrichten benötigen, sind sie auf Lizenzvereinbarungen mit großen Websites und Verlagen angewiesen. OpenAI hat bereits einige Deals abgeschlossen, während sich Apple angeblich in Gesprächen befindet, aber noch keine Vereinbarungen bekannt gegeben hat.
Google hingegen setzt seine Marktdominanz im Suchmaschinenbereich ein, um Verlage unter Druck zu setzen. Sie müssen entweder zulassen, dass ihre Inhalte in Googles KI-Antworten erscheinen, oder riskieren, in den Suchergebnissen abzurutschen. Dafür vermischt Google den KI-Crawler mit dem klassischen Internet-Crawling.
Außerdem soll Google frühere Gespräche mit Verlagen über mögliche Lizenzvereinbarungen für die Nutzung ihrer Inhalte in KI-Antworten abgebrochen haben. Die Kosten für solche Vereinbarungen dürften angesichts des Suchvolumens von Google hoch sein und die Margen der durch KI ohnehin teureren Suche weiter belasten.
Wie Google verfügt auch Apple neben dem KI-Crawler über einen für die Apple-Suchprodukte relevanten Crawler. Allerdings können Verlage den KI-Crawler blockieren (Applebot-Extended), ohne Nachteile für ihre Sichtbarkeit in Apple-Produkten befürchten zu müssen (Applebot). Das ist zwar fairer, aber die Suche ist nicht das Kerngeschäft von Apple.
Interessant wird auch die Frage sein, wie sich OpenAIs ChatGPT-Lizenzen für Verlage verhalten, wenn ChatGPT über Apple-Produkte genutzt wird.
