Warum Websites KI-Agenten aussperren – und was Marken tun sollten

Immer mehr Websites sperren KI-Agenten und Crawler aus. Meist wird das mit Sicherheit begründet. Der wirtschaftliche Grund ist einfacher: Agenten sehen keine Werbung und schließen keine Abos ab – und genau davon lebt ein großer Teil des offenen Webs.

---

1) Die Ausgangslage

Cloudflare beschreibt die Lage so: Mehr als die Hälfte des Internetverkehrs ist inzwischen nicht mehr menschlich, und tägliche Anfragen von KI-Agenten im eigenen Netz sind im letzten Jahr stark gewachsen. Agenten reagieren nicht auf Anzeigen, aber hinter ihnen steht meist ein Mensch mit einer Aufgabe (Cloudflare).

Der alte Deal – Suchmaschinen crawlen, dafür kommen Besucher – trägt nicht mehr, wenn eine Antwortmaschine die Seite liest und nur eine Zusammenfassung zurückgibt.

---

2) Die Werkzeuge der Website-Betreiber

• Blockieren: Ein-Klick-Sperren für KI-Bots gibt es seit 2025 (Cloudflare).
• Training ausschließen, Suche erlauben: Eine neue Einstellung soll gemischt genutzte Crawler für Suche zulassen, aber Training untersagen; laut Cloudflare halten sich Apple, Google und Microsoft daran oder haben es zugesagt (Cloudflare).
• Bezahlen lassen: Bei Pay per Crawl zahlt ein Crawler pro Abruf – oder bekommt die Antwort „402 Payment Required" mit Preis. Die Funktion ist in einer geschlossenen Beta (Cloudflare Docs).

---

3) Die Frage für Marken: Sperren oder öffnen?

Für Verlage ist Sperren oft rational. Für Marken, die verkaufen wollen, ist es meist ein Fehler: Wer Agenten aussperrt, wird bei der Recherche und beim Kauf durch Agenten nicht berücksichtigt – siehe Agentic Commerce und AEO.

Eine sinnvolle Unterscheidung:

1. Produkt-, Preis- und Serviceinformationen öffnen. Das sind die Inhalte, die ein Agent braucht, um Sie zu empfehlen.
2. Exklusive redaktionelle Inhalte schützen oder bepreisen. Studien, Daten und Analysen, die Ihr eigentliches Kapital sind.
3. Training und Suche getrennt entscheiden. Nicht pauschal „KI blockieren".
4. Regelmäßig prüfen, wer kommt. Welche Agenten fragen an, und was rufen sie ab?

---

Fazit

Das Aussperren von Agenten ist vor allem ein Streit über Erlösmodelle. Marken sollten ihn nicht blind übernehmen: Die Inhalte, mit denen Sie verkaufen, sollten für Agenten lesbar sein. Schützen sollten Sie das, wofür Sie selbst bezahlt werden wollen.