Generator robots.txt z Content Signals

Wygeneruj plik robots.txt świadomy agentów AI — z polityką dostępu per crawler oraz Content Signals (search, ai-input, ai-train) jako linią w pliku. Zgodne ze standardem Cloudflare/IETF, oparte o Artykuł 4 Dyrektywy UE 2019/790.

1. Podstawowe dane

Twoja domena

Sitemap URL (opcjonalnie)

2. Globalna polityka Content Signals

Trzy sygnały, każdy z trzema stanami: Pozwól (yes), Zabroń (no), Nie deklaruj (pomijamy w pliku — zachowujemy prawo do późniejszej decyzji). Ta konfiguracja trafi do User-agent: *. Dla wybranych agentów możesz dostosować osobno (sekcja 3). Czym są Content Signals →

search Klasyczne SEO. Bot indeksuje, użytkownik klika, wraca na stronę. NIE obejmuje AI Overviews.

ai-input RAG, generative search, AI Overviews. Treść jako kontekst w odpowiedziach AI.

ai-train Trenowanie modeli językowych. Treść wpleciona w wagi modelu.

Dołącz pełen blok polityki Cloudflare (zalecane — daje umocowanie prawne pod Art. 4 Dyrektywy UE 2019/790)

3. Polityka per agent AI

Dla każdego znanego agenta AI: ustaw politykę dostępu (allow/block/skip). Opcjonalnie kliknij Dostosuj, by nadać własne Content Signals dla tego agenta (override globalnej polityki z sekcji 2).

4. Własne ścieżki

Reguły Allow/Disallow dla wszystkich botów (User-agent: *). Generator posortuje je automatycznie — Allow z dłuższą ścieżką przed Disallow z krótszą.