Cloudflare lässt Seitenbetreiber KI-Bots jetzt gezielt nach Zweck blockieren oder erlauben

Cloudflare gibt allen Kunden neue Werkzeuge an die Hand, um den Zugriff von KI-Bots auf ihre Websites gezielter zu steuern.

Bereits seit Juli 2024 können Cloudflare-Kunden mit einem Klick alle KI-Crawler blockieren. Doch statt wie bisher nur pauschal KI-Crawler zu blockieren, können Seitenbetreiber nun zwischen drei Kategorien unterscheiden: Search (Suchmaschinen-Indexierung), Training (Daten zum Trainieren von KI-Modellen) und Agent (Bots, die im Auftrag von Nutzern handeln, etwa ChatGPT).

Ab dem 15. September 2026 werden Training- und Agent-Bots auf Seiten mit Werbeanzeigen standardmäßig blockiert, da Werbung signalisiere, dass menschliche Besucher erwünscht sind. Such-Crawler bleiben erlaubt. Mehrzweck-Crawler wie Googlebot, die sowohl suchen als auch trainieren, werden nach der jeweils strengsten Regel behandelt. Die neuen Optionen stehen auch Nutzern des kostenlosen Tarifs zur Verfügung.

Cloudflare fordert Bot-Betreiber auf, ihre Crawler nach Zweck zu trennen. Cloudflare-CEO Matthew Prince kritisierte in der Vergangenheit insbesondere Google, das seinen Such-Crawler mit dem KI-Crawler bündelt. Im Juni 2026 stellte Cloudflare-CEO Prince fest, dass der Bot-Traffic den menschlichen Traffic im Internet erstmals überholt hat, ein Wendepunkt, den er ursprünglich erst für Ende 2027 erwartet hatte.

Botdatenbank soll Bots besser kontrollierbar machen

Für Enterprise-Kunden startet Cloudflare zusätzlich BotBase, eine durchsuchbare Datenbank aller bekannten Bots direkt im Dashboard. Dort lässt sich einsehen, wie jeder Bot klassifiziert ist und wie er Inhalte nutzt – etwa ob er nur verlinkt oder vollständig wiedergibt.

Gleichzeitig ändert Cloudflare die Regeln für verifizierte Bots: Bisher waren alle verifizierten Bots automatisch erlaubt. Künftig bestimmt die jeweilige Kategorie, ob ein Bot Zugang erhält, das Label "Verified" allein reicht nicht mehr. Bot-Betreiber müssen nachweisen, dass sie sich ehrlich identifizieren und den gewährten Zugang nicht missbrauchen.