Naucz boty AI czego mogą dotykać — a czego nie
Teach AI bots what they can touch — and what they can't
Nowy standard robots.txt pozwala Ci osobno zezwolić na indeksowanie przez wyszukiwarki, użycie treści przez AI i trenowanie modeli językowych. Trzy niezależne sygnały, jeden plik, pełna kontrola.
The new robots.txt standard lets you separately grant search indexing, AI usage of your content, and language model training. Three independent signals, one file, full control.
📄 Generator robots.txt z Content Signals
Wygeneruj plik robots.txt świadomy agentów AI — z polityką dostępu per crawler oraz Content Signals (search, ai-input, ai-train) jako linią w pliku. Zgodne ze standardem Cloudflare/IETF, z odniesieniem do Art. 4 Dyrektywy UE 2019/790.
1. Podstawowe dane
2. Globalna polityka Content Signals
Trzy sygnały, każdy z trzema stanami: Pozwól (yes), Zabroń (no),
Nie deklaruj (pomijamy w pliku — zachowujemy prawo do późniejszej decyzji).
Ta konfiguracja trafi do User-agent: *. Dla wybranych agentów możesz dostosować osobno (sekcja 3).
Czym są Content Signals →
2b. Content-Usage — równoległy standard IETF (opcjonalnie)
Osobny, wciąż rozwijany standard IETF (draft, bez pełnego konsensusu grupy roboczej —
współautor: Gary Illyes z Google). Na razie tylko dwie kategorie: train-ai
i search, wartości y/n. Możesz dodać go obok
Content Signals dla szerszego pokrycia, na wypadek gdyby to on zyskał adopcję.
3. Polityka per agent AI
Dla każdego znanego agenta AI: ustaw politykę dostępu (allow/block/skip). Opcjonalnie kliknij Dostosuj, by nadać własne Content Signals dla tego agenta (override globalnej polityki z sekcji 2).
4. Własne ścieżki
Reguły Allow/Disallow dla wszystkich botów (User-agent: *).
Generator posortuje je automatycznie — Allow z dłuższą ścieżką przed Disallow z krótszą.
Ustaw globalną politykę
Set the global policy
Wybierz domyślne zachowanie dla wszystkich botów — trzy Content Signals niezależnie od siebie: search, ai-input, ai-train.
Choose default behavior for all bots — three independent Content Signals: search, ai-input, ai-train.
Dostosuj per agent
Adjust per agent
GPTBot, ClaudeBot, Googlebot-Extended i inne — każdemu możesz nadać własne reguły nadpisujące politykę globalną.
GPTBot, ClaudeBot, Google-Extended and others — give each one its own rules overriding the global policy.
Pobierz i wgraj
Download and upload
Generator buduje gotowy plik z opcjonalnym odniesieniem do Art. 4 Dyrektywy UE 2019/790. Wgrywasz przez FTP do katalogu głównego domeny.
The generator builds a ready file with an optional reference to Article 4 of EU Directive 2019/790. Upload it via FTP to your domain's root.
Klasyczne indeksowanie
Classic indexing
Zgoda na indeksowanie przez wyszukiwarki — użytkownik klika w wynik i wraca na Twoją stronę. Nie obejmuje AI Overviews ani RAG.
Consent to search indexing — the user clicks a result and lands on your page. Does not cover AI Overviews or RAG.
Kontekst w odpowiedziach AI
Context in AI answers
Zgoda na użycie treści w RAG, AI Overviews, Perplexity. Treść cytowana w odpowiedzi — ale nie wpleciona trwale w model.
Consent to use content in RAG, AI Overviews, Perplexity. Cited in an answer — but not permanently baked into the model.
Trenowanie modeli
Model training
Zgoda na włączenie treści do zbiorów treningowych. Treść wpleciona na stałe w wagi modelu — decyzja trudna do cofnięcia.
Consent to include content in training sets. Baked permanently into model weights — a hard decision to reverse.
# robots.txt — twojadomena.pl # Wygenerowano przez ifox.pl/generator-robots-txt/ # ── Polityka globalna ────────────────────────────── User-agent: * Allow: / Content-signal: search=yes, ai-train=no, use=reference Content-Usage: train-ai=n # ── GPTBot (OpenAI) ──────────────────────────────── User-agent: GPTBot Disallow: / Content-signal: search=yes, ai-train=no, use=reference Content-Usage: train-ai=n # ── ClaudeBot (Anthropic) ────────────────────────── User-agent: ClaudeBot Allow: / Content-signal: ai-input=yes # ── Sitemap ──────────────────────────────────────── Sitemap: https://twojadomena.pl/sitemap.xml
3 niezależne zgody zamiast jednej
3 independent consents, not one
Możesz chcieć być w Google, ale nie chcieć żeby OpenAI trenowało na Twoich tekstach. Teraz możesz wyrazić to wprost.
You may want to be in Google but not want OpenAI training on your text. Now you can state that explicitly.
Deklaracja zgodna z prawem UE
EU law-aligned declaration
Art. 4 Dyrektywy UE 2019/790 przewiduje machine-readable opt-out wobec text and data mining. Plik pomaga złożyć taką deklarację technicznie i jasno.
Article 4 of EU Directive 2019/790 allows a machine-readable opt-out for text and data mining. The file helps state that declaration clearly.
Kontrola per agent
Per-agent control
GPTBot, ClaudeBot, Google-Extended, PerplexityBot — każdemu z osobna możesz nadać inne reguły.
GPTBot, ClaudeBot, Google-Extended, PerplexityBot — give each one different rules.
Punkty w audycie agent-readiness
Points in an agent-readiness audit
Poprawnie skonfigurowany robots.txt z Content Signals to jeden z filarów audytu agent-readiness.
A properly configured robots.txt with Content Signals is one pillar of an agent-readiness audit.
Ważne: to deklaracja, nie potwierdzone posłuszeństwo botów
Important: a declaration, not confirmed bot compliance
Klasyczne Allow/Disallow są respektowane przez główne boty od dekad. Content Signals to nowszy, deklaratywny standard — Google (przez Johna Muellera) potwierdził wprost, że go nie stosuje, a żaden dostawca LLM nie zadeklarował oficjalnego wsparcia. Wartość sygnału leży w zastrzeżeniu prawa pod Art. 4 Dyrektywy UE 2019/790, nie w technicznym wymuszeniu — to zapisujesz oddzielnie, np. przez Cloudflare AI Crawl Control.
Classic Allow/Disallow have been honored by major bots for decades. Content Signals is a newer, declarative standard — Google (via John Mueller) has explicitly confirmed it does not act on it, and no LLM provider has announced official support. The signal's value lies in reserving rights under Article 4 of EU Directive 2019/790, not in technical enforcement — that's a separate layer, e.g. Cloudflare's AI Crawl Control.
Trenowanie modeli AI
AI model training
Użycie treści do modyfikacji parametrów modelu generującego treści syntetyczne.
Using content to modify the parameters of a model that generates synthetic content.
Wyszukiwanie
Search
Użycie w aplikacji, której głównym celem jest kierowanie użytkowników do źródła — z linkiem zwrotnym, bez generowania streszczeń.
Use in an application whose primary purpose is directing users to the source — with a link back, no summary generation.
Dlaczego globalny sygnał pojawia się powtórzony w każdym bloku bota?
Why does the global signal repeat in every bot's block?
Zgodnie z RFC 9309 (standard robots.txt), bot który znajdzie dedykowaną dla siebie grupę
User-agent: GPTBot czyta wyłącznie tę grupę i całkowicie ignoruje
User-agent: * — nawet jeśli sekcja globalna deklaruje ai-train=no.
Dlatego generator kopiuje efektywną politykę (nadpisanie z sekcji 3, jeśli je ustawisz, albo
politykę globalną z sekcji 2) do każdego wymienionego bota z osobna — inaczej bot z własną
sekcją nigdy by jej nie zobaczył.
Per RFC 9309 (the robots.txt standard), a bot that finds a dedicated group
User-agent: GPTBot reads only that group and completely ignores
User-agent: * — even if the global section declares ai-train=no.
That's why the generator copies the effective policy (your section 3 override, if set, or the
section 2 global policy) into every listed bot's own block — otherwise a bot with its own
section would never see it.
Czym są Content Signals w robots.txt?
What are Content Signals in robots.txt?
Content Signals to nagłówki Content-signal dodawane do pliku robots.txt w ramach implementacji Cloudflare. Pozwalają zadeklarować niezależnie: zgodę na indeksowanie (search), użycie treści w odpowiedziach AI (ai-input), trenowanie modeli (ai-train) oraz — od 2026 — co bot może zrobić z pobraną treścią (use: immediate/reference/full). Każdy z pierwszych trzech ma trzy stany: yes, no lub brak deklaracji.
Content Signals are Content-signal headers added to robots.txt as part of Cloudflare's implementation. They let you independently declare: search indexing consent (search), use of content in AI answers (ai-input), model training (ai-train), and — since 2026 — what a bot may do with content it fetched (use: immediate/reference/full). Each of the first three has three states: yes, no, or undeclared.
Czy boty faktycznie respektują te sygnały?
Do bots actually respect these signals?
Klasyczne Allow/Disallow są respektowane przez główne boty od dekad. Sama dyrektywa Content-signal to inna sprawa — Google (John Mueller) wprost potwierdził, że jej nie stosuje, a żaden dostawca AI nie zadeklarował oficjalnego wsparcia. To nie czyni jej bezwartościową: to zastrzeżenie praw pod Art. 4 Dyrektywy UE 2019/790, ale nie licz na techniczne wymuszenie bez dodatkowych narzędzi typu AI Crawl Control.
Classic Allow/Disallow have been honored by major bots for decades. The Content-signal directive itself is a different story — Google (John Mueller) has explicitly confirmed it does not act on it, and no AI provider has announced official support. That doesn't make it worthless: it's a rights reservation under Article 4 of EU Directive 2019/790, but don't expect technical enforcement without additional tools like AI Crawl Control.
Czym jest Content-Usage i czy powinienem go dodać?
What is Content-Usage and should I add it?
To osobny standard rozwijany przez grupę roboczą IETF (nie Cloudflare), na razie w wersji roboczej bez pełnego konsensusu. Definiuje dwie kategorie: train-ai i search, z wartościami y/n. Możesz dodać go równolegle do Content Signals — nie szkodzi, a zwiększa szansę na pokrycie, gdyby to on zyskał szersze wsparcie w przyszłości.
This is a separate standard developed by an IETF working group (not Cloudflare), currently a draft without full consensus. It defines two categories: train-ai and search, with y/n values. You can add it alongside Content Signals — it doesn't hurt, and improves coverage if this standard gains wider adoption later.
Co zmienia się 15 września 2026?
What changes on September 15, 2026?
Cloudflare ustawia nowe wartości domyślne dla domen korzystających z ich zarządzanego robots.txt: na stronach z reklamami kategorie Agent i Training będą domyślnie zablokowane, Search zostaje dozwolony. Jeśli Twoja domena jest na Cloudflare, warto sprawdzić ustawienia przed tą datą, zamiast polegać wyłącznie na tym generatorze.
Cloudflare is rolling out new default values for domains using their managed robots.txt: on ad-supported pages, the Agent and Training categories will be blocked by default, while Search stays allowed. If your domain is on Cloudflare, check those settings before this date rather than relying solely on this generator.
Czy nowy robots.txt zastępuje stary?
Does the new robots.txt replace the old one?
To nadal ten sam plik robots.txt w katalogu głównym domeny. Content Signals są dodawane jako nowe nagłówki obok standardowych reguł Allow i Disallow.
It's still the same robots.txt file in the domain root. Content Signals are added as new headers alongside standard Allow and Disallow rules.
Co oznacza "nie deklaruj" przy sygnale?
What does "undeclared" mean for a signal?
Pominięcie sygnału oznacza brak deklaracji — nie jest to ani zgoda, ani zakaz. Zachowujesz prawo do późniejszej decyzji.
Omitting a signal means no declaration — neither consent nor refusal. You keep the right to decide later.
Czy generator jest darmowy?
Is the generator free?
Tak, generator robots.txt na iFox.pl jest w pełni darmowy i nie wymaga rejestracji.
Yes, the robots.txt generator on iFox.pl is completely free and requires no sign-up.
Dlaczego robots.txt przestał wystarczać w starej formie
Przez dekady robots.txt odpowiadał na jedno pytanie: czy bot może zaindeksować tę stronę. Wraz z pojawieniem się crawlerów AI to pytanie się rozdwoiło — bot może chcieć zaindeksować treść na potrzeby wyszukiwania, użyć jej jako kontekstu w odpowiedzi generatywnej, albo włączyć ją do zbioru treningowego modelu. To trzy zupełnie różne decyzje biznesowe i prawne, a stary robots.txt miał tylko jeden przełącznik na wszystkie naraz.
Jak Content Signals rozwiązują ten problem
Standard Content Signals, rozwijany przy udziale Cloudflare i społeczności IETF, dodaje do
pliku nagłówki Content-Signal obok klasycznych reguł Allow/Disallow.
Każdy z trzech sygnałów — search, ai-input, ai-train —
działa niezależnie, więc można na przykład zgodzić się na obecność w wynikach wyszukiwania,
jednocześnie zabraniając trenowania modeli na własnych treściach.
Kontrola per agent, nie tylko globalna
Poza polityką globalną (User-agent: *) generator pozwala nadpisać zachowanie
dla konkretnych botów — GPTBota inaczej niż ClaudeBota, Googlebota inaczej niż Bytespidera.
To ważne, bo różne firmy mają różne polityki wykorzystania danych, a jednolita reguła dla
wszystkich rzadko odpowiada rzeczywistym preferencjom właściciela treści.
Podstawa prawna, nie tylko techniczna
Opcjonalny blok polityki odwołuje się do Art. 4 Dyrektywy UE 2019/790, który przewiduje możliwość zastrzeżenia praw wobec text and data mining w formie czytelnej maszynowo. To nie jest blokada techniczna — to deklaracja intencji, która ma znaczenie prawne niezależnie od tego, czy dany bot faktycznie ją uszanuje.
Co dalej po wygenerowaniu pliku
Sam plik to jedna warstwa ochrony — deklaratywna, nie wymuszająca technicznie. Jeśli zależy Ci na realnym egzekwowaniu reguł wobec botów, które ignorują robots.txt, warto połączyć to z rozwiązaniami na poziomie WAF, takimi jak AI Crawl Control Cloudflare. Content Signals i mechanizmy egzekwujące to dwie różne warstwy tej samej strategii.
Stan adopcji na wrzesień 2026 — bądź na to przygotowany
Content Signals to wciąż standard bez potwierdzonego wsparcia po stronie głównych botów.
Google (John Mueller) wprost stwierdził, że wyszukiwarka nie stosuje się do dyrektywy
Content-signal, a Search Console potrafi zgłaszać ją jako "składnię
niezrozumianą" — Cloudflare zapewnia, że nie wpływa to na indeksowanie. Żaden dostawca
modeli językowych nie zadeklarował oficjalnego wsparcia. To nie unieważnia sensu deklaracji —
nadal jest to zastrzeżenie praw pod Art. 4 Dyrektywy UE — ale nie należy jej traktować jak
technicznej blokady.
Content-Usage — drugi, równoległy standard
Obok Content Signals rozwija się osobna inicjatywa w ramach IETF, przy współudziale
inżyniera Google — Content-Usage. Na razie definiuje tylko dwie kategorie:
train-ai i search, z wartościami y/n,
i wciąż nie ma pełnego konsensusu grupy roboczej. Dodanie tej linii obok Content Signals
nic nie kosztuje, a zwiększa szansę na pokrycie, gdyby to właśnie ten standard zyskał
w przyszłości szersze wsparcie — możliwe, biorąc pod uwagę zaangażowanie Google w jego rozwój.
Why plain robots.txt stopped being enough
For decades, robots.txt answered one question: can a bot index this page. With AI crawlers, that question split into three — a bot might want to index content for search, use it as context in a generative answer, or fold it into a model's training set. These are three separate business and legal decisions, and the old robots.txt had one switch for all of them.
How Content Signals solve this
The Content Signals standard, developed with input from Cloudflare and the IETF community,
adds Content-Signal headers to the file alongside classic Allow/Disallow
rules. Each of the three signals — search, ai-input, ai-train
— works independently, so you can, for example, consent to appearing in search results while
refusing model training on your content.
Per-agent control, not just global
Beyond the global policy (User-agent: *), the generator lets you override behavior
for specific bots — GPTBot differently from ClaudeBot, Googlebot differently from Bytespider.
That matters because different companies have different data-use policies, and one blanket
rule rarely matches a content owner's real preferences.
A legal basis, not just a technical one
The optional policy block references Article 4 of EU Directive 2019/790, which allows a machine-readable rights reservation against text and data mining. It isn't a technical block — it's a declaration of intent that carries legal weight regardless of whether a given bot actually honors it.
What comes after generating the file
The file itself is one layer of protection — declarative, not technically enforced. If you need real enforcement against bots that ignore robots.txt, pair it with WAF-level solutions like Cloudflare's AI Crawl Control. Content Signals and enforcement mechanisms are two different layers of the same strategy.
Adoption status as of September 2026 — be prepared for this
Content Signals is still a standard without confirmed support from major bots. Google
(via John Mueller) has explicitly stated that its search engine does not act on the
Content-signal directive, and Search Console may flag it as "syntax not
understood" — Cloudflare says this doesn't affect crawling. No language-model provider has
announced official support. That doesn't invalidate the point of declaring it — it's still
a rights reservation under Article 4 of the EU Directive — but don't treat it as a technical
block.
Content-Usage — a second, parallel standard
Alongside Content Signals, a separate IETF initiative is developing — Content-Usage — with
input from a Google engineer among its authors. It currently defines only two categories,
train-ai and search, with y/n values, and
still lacks full working-group consensus. Adding this line alongside Content Signals costs
nothing and improves coverage in case this standard gains wider support later — plausible,
given Google's involvement in its development.
Masz już robots.txt? Sprawdź czy działa poprawnie.
Already have a robots.txt? Check that it works correctly.
GEO Checker weryfikuje czy plik istnieje, czy blokujesz właściwe boty i jaki masz wynik agent-readiness.
GEO Checker verifies the file exists, that you're blocking the right bots, and your agent-readiness score.