Ein Eintrag gegen alle KI-Trainer: Google will gemeinsames robots.txt-Signal ab 2027 auswerten

Wer eine eigene Website mit Illustrationen, Fanart oder Manga-Übersetzungsprojekten betreibt, kennt das Spiel: Für jeden KI-Anbieter braucht es eine eigene Sperrzeile in der robots.txt, und ständig kommt ein neuer Crawler dazu. Das könnte sich bald ändern. Wie heise online berichtet, will Google ab 2027 ein anbieterübergreifendes Signal auswerten, mit dem man dem KI-Training mit einem einzigen Eintrag widersprechen kann.

So soll es funktionieren

Grundlage ist ein Entwurf der IETF-Arbeitsgruppe AI Preferences (AIPREF). Statt einer neuen Syntax nutzt er die bekannte User-Agent-Zeile, nur dass dort kein echter Crawler steht, sondern ein Zweck: __usage_ai-training. Ein Beispiel aus dem Entwurf:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Damit wäre die ganze Seite fürs Training gesperrt, nur der Presseordner bliebe frei. Ältere Parser ignorieren den Block einfach als unbekannten User-Agent. Die bisherigen Einzeltokens wie Google-Extended bleiben laut Google erhalten, man kann also pauschal sperren und einzelne Anbieter gezielt wieder zulassen. Wer das neue Token setzt und Google-Extended nicht erwähnt, wird von Google so behandelt, als hätte er Google-Extended gesperrt.

Der Haken

Zwei Dinge sollte man im Hinterkopf behalten. Erstens bleibt die robots.txt eine Bitte, keine Sperre: Kooperative Crawler halten sich daran, andere nicht. Zweitens koppelt Google die Freigabe an einen Vorteil. Nur wer Google-Extended ausdrücklich erlaubt, kann laut Google per Grounding in Antworten der Gemini-Apps auftauchen und darüber Klicks bekommen. Für Künstlerinnen und Künstler, die ihre Bilder nicht als Trainingsmaterial sehen wollen, ist das ein echter Zielkonflikt.

Trotzdem finde ich den Schritt richtig. Gerade kleine Fanseiten und Portfolios haben selten die Zeit, eine Liste mit Dutzenden Bot-Namen zu pflegen. Ein einziger, standardisierter Eintrag, der auch im Verhaltenskodex zum EU AI Act als maschinenlesbarer Nutzungsvorbehalt anerkannt ist, senkt die Hürde deutlich. Jetzt kommt es darauf an, wie viele andere KI-Anbieter tatsächlich mitziehen.