Cloudflare hat eine neue Abwehrmethode gegen unerwünschte KI-Crawler vorgestellt: Statt Bots einfach zu blockieren, werden sie in ein Labyrinth aus KI-generierten Inhalten gelockt, wo sie Zeit und Ressourcen verschwenden.
Das neue Feature mit dem Namen "AI Labyrinth" ist für alle Cloudflare-Kunden, einschließlich Nutzer des kostenlosen Plans, auf Opt-in-Basis verfügbar. Laut Cloudflare soll das System automatisch aktiv werden, wenn unangemessene Bot-Aktivitäten erkannt werden – ohne dass Kunden spezielle Regeln erstellen müssen.
"Wir haben festgestellt, dass das Blockieren bösartiger Bots den Angreifer darauf aufmerksam machen kann, dass wir ihn entdeckt haben, was zu einer Änderung der Vorgehensweise und einem nie endenden Wettrüsten führt", erklärt Cloudflare in seinem Blog-Beitrag. Stattdessen nutzt das Unternehmen nun generative KI, um Bots in die Irre zu führen.
Wenn unerwünschte Crawler erkannt werden, leitet Cloudflare sie auf KI-generierte Seiten um, die echt genug aussehen, um einen Crawler zu verleiten, ihnen zu folgen. Diese Inhalte gehören jedoch nicht zur eigentlichen Website, sodass der Crawler Zeit und Ressourcen verschwendet.
Explosionsartiges Wachstum von KI-Crawlern
Der Bedarf für solche Maßnahmen ist laut Cloudflare erheblich gestiegen. KI-Crawler generieren mehr als 50 Milliarden Anfragen täglich an das Cloudflare-Netzwerk – knapp 1 Prozent aller Webanfragen, die das Unternehmen verzeichnet.
Die technische Umsetzung des Labyrinths erfolgt über Workers AI mit einem Open-Source-Modell, das einzigartige HTML-Seiten zu verschiedenen Themen erstellt. Um Leistungseinbußen zu vermeiden, werden die Inhalte nicht in Echtzeit generiert, sondern vorab erstellt, auf XSS-Schwachstellen überprüft und für schnellen Abruf gespeichert.
AI Labyrinth dient gleichzeitig als Honeypot: Da kein echter Mensch tief in ein Labyrinth aus KI-generiertem Unsinn vordringen würde, kann jeder Besucher, der dies tut, mit hoher Wahrscheinlichkeit als Bot identifiziert werden. Diese Informationen fließen in die maschinellen Lernmodelle von Cloudflare ein und verbessern kontinuierlich die Bot-Erkennung.
Cloudflare betont, dass dies nur der erste Schritt bei der Nutzung generativer KI zur Abwehr von Bots sei. In zukünftigen Versionen sollen die Links noch schwerer zu erkennen sein und sich nahtloser in die bestehende Struktur der geschützten Websites einfügen.
