Robots.txt to zwykły plik tekstowy w głównym katalogu strony (twojafirma.pl/robots.txt), w którym piszesz, które adresy mogą odwiedzać roboty wyszukiwarek i boty AI. Służy głównie do zarządzania ruchem robotów, a nie do ukrywania stron: zablokowany adres może nadal pojawić się w Google, tylko bez opisu. Za pomocą robots.txt możesz też zablokować trenowanie modeli AI na swoich treściach i dalej pokazywać się w wyszukiwarkach.
Plik robots.txt co to jest i jaką funkcję pełni
Gdy robot, np. Googlebot, odwiedza stronę, najpierw sprawdza plik robots.txt i stosuje się do zapisanych tam reguł. Plik składa się z grup: każda zaczyna się od wiersza User-agent (nazwa robota albo gwiazdka dla wszystkich), a potem ma reguły Disallow (nie wchodź) i Allow (możesz wejść). Na końcu zwykle jest wiersz Sitemap z adresem mapy witryny.
Według dokumentacji Google plik:
- musi leżeć w katalogu głównym witryny i dotyczy tylko tego hosta i protokołu, więc subdomena sklep.twojafirma.pl potrzebuje własnego pliku,
- musi być zwykłym tekstem w kodowaniu UTF-8; wielkość liter w ścieżkach ma znaczenie (/Blog/ to nie /blog/),
- może mieć do 500 KiB, a dalsza treść jest pomijana,
- jest przechowywany przez Google w pamięci podręcznej zwykle do 24 godzin, więc zmiany nie działają od razu.
Brak pliku robots.txt nie jest błędem. Oznacza, że roboty mogą odwiedzać wszystkie adresy. Jeśli Twoja strona działa na kreatorze typu Wix, plik często generuje sam system i zmieniasz go w ustawieniach wyszukiwarki, a nie bezpośrednio.
Czego robots.txt nie robi
- Nie usuwa strony z Google. Adres zablokowany w robots.txt może zostać zaindeksowany, jeśli prowadzą do niego linki, i wyświetli się bez opisu. Żeby strona nie pokazywała się w wynikach, użyj tagu noindex albo hasła.
- Nie łączy się dobrze z noindex. Jeśli zablokujesz stronę w robots.txt, Google nie wejdzie na nią i nie zobaczy tagu noindex. Najpierw noindex, blokada dopiero po usunięciu z indeksu, i to tylko gdy naprawdę jest potrzebna.
- Nie chroni danych. To prośba, nie zabezpieczenie. Znane roboty się do niej stosują, ale nie wszystkie. Prywatne pliki zabezpiecz hasłem.
Robots.txt: gotowe przykłady dla strony firmowej, WordPressa i sklepu
Poniższe przykłady to punkt wyjścia. Ścieżki zmień na takie, jakie ma Twoja strona, i sprawdź je przed publikacją.
Strona firmowa: wszystko dostępne
User-agent: *Disallow:Sitemap: https://twojafirma.pl/sitemap.xml
Pusta reguła Disallow znaczy „nic nie blokuję”. Dla zwykłej strony usługowej to najczęściej najlepszy wybór.
Strona na WordPressie
User-agent: *Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.phpSitemap: https://twojafirma.pl/wp-sitemap.xml
Nie blokuj katalogów z plikami CSS i JavaScript. Google musi je pobrać, żeby zobaczyć stronę tak jak użytkownik.
Sklep internetowy
User-agent: *Disallow: /koszyk/Disallow: /zamowienie/Disallow: /moje-konto/Disallow: /*?orderby=Sitemap: https://twojsklep.pl/sitemap.xml
Koszyk, zamówienie i konto klienta nie mają czego szukać w wynikach. Reguła z gwiazdką zatrzymuje roboty przed tysiącami wariantów tej samej kategorii, różniących się tylko sortowaniem. Nie blokuj stron produktów ani kategorii, bo to one zbierają ruch.
Bez trenowania AI, ale widoczny w wyszukiwarkach AI
User-agent: GPTBotDisallow: /
User-agent: Google-ExtendedDisallow: /
User-agent: ClaudeBotDisallow: /
User-agent: *Disallow:Sitemap: https://twojafirma.pl/sitemap.xml
Ten plik blokuje roboty, które zbierają treści do trenowania modeli, a zostawia wejście robotom wyszukiwarek, w tym wyszukiwania w ChatGPT (OAI-SearchBot), Claude (Claude-SearchBot) i Perplexity (PerplexityBot). Każdą grupę zaczynaj od wiersza User-agent i oddzielaj pustą linią.
Boty AI w robots.txt: lista i co robią
| User-agent | Firma | Do czego służy | Skutek zablokowania |
|---|---|---|---|
| GPTBot | OpenAI | Zbiera treści, które mogą trafić do trenowania modeli | Treści nie powinny być używane do trenowania |
| OAI-SearchBot | OpenAI | Wyszukiwanie w ChatGPT | Strona nie pojawi się w odpowiedziach wyszukiwania ChatGPT (najwyżej jako link nawigacyjny) |
| ChatGPT-User | OpenAI | Wejścia na prośbę użytkownika ChatGPT | Reguły robots.txt mogą nie mieć zastosowania |
| Google-Extended | Token kontrolny: trenowanie przyszłych modeli Gemini i dane dla aplikacji Gemini i Vertex AI | Brak wpływu na wyszukiwarkę Google i ranking | |
| ClaudeBot | Anthropic | Zbiera treści, które mogą trafić do trenowania | Przyszłe treści wyłączone z trenowania |
| Claude-SearchBot | Anthropic | Indeksowanie na potrzeby wyszukiwania w Claude | Mniejsza widoczność w wynikach wyszukiwania Claude |
| Claude-User | Anthropic | Wejścia na prośbę użytkownika Claude | Claude nie pobierze strony, gdy ktoś o nią zapyta |
| PerplexityBot | Perplexity | Wyniki wyszukiwania Perplexity, nie trenowanie modeli | Strona znika z wyników Perplexity |
OpenAI i Perplexity podają, że zmiana w robots.txt może potrzebować do 24 godzin, zanim ich systemy ją uwzględnią. Wejścia uruchamiane przez użytkownika (ChatGPT-User, Perplexity-User) według dokumentacji obu firm mogą ignorować robots.txt.
Jak zablokować ChatGPT na stronie internetowej
Najpierw zdecyduj, co chcesz zablokować:
- Tylko trenowanie: dodaj grupę User-agent: GPTBot z Disallow: /. Strona nadal może pojawiać się w wyszukiwaniu ChatGPT.
- Trenowanie i wyszukiwanie w ChatGPT: zablokuj GPTBot i OAI-SearchBot. Pamiętaj, że tracisz wtedy szansę na cytowanie i link w odpowiedziach.
- Wszystkie wejścia OpenAI: robots.txt nie wystarczy, bo ChatGPT-User może go pominąć. Potrzebna jest blokada na serwerze lub w zaporze, np. po adresach IP, które OpenAI publikuje dla każdego bota.
Dla większości firm rozsądny wybór to wariant pierwszy albo żadna blokada. Klienci coraz częściej pytają czaty o usługi i firmy, a strona niewidoczna dla wyszukiwania AI nie zostanie polecona. Jak zwiększać szanse na cytowanie, opisujemy w tekście AI Overviews: jak nie zniknąć z wyszukiwarki.
Google-Extended a Przegląd od AI i ustawienie w Search Console
To częste nieporozumienie. Google-Extended nie wyłącza Przeglądu od AI ani Trybu AI w wyszukiwarce. Dotyczy trenowania modeli Gemini i danych używanych przez aplikacje Gemini, a według Google nie wpływa na obecność w wyszukiwarce ani na pozycje.
Do wyszukiwarki służy osobne ustawienie w Search Console, dostępne dla wszystkich witryn od 31 sierpnia 2026 roku: „Ustawienia” > „Generatywna AI w wyszukiwarce”. Domyślnie treści są uwzględniane. Po wybraniu wykluczenia strona nie dostaje wyświetleń ani kliknięć z funkcji generatywnej AI w wyszukiwarce, a samo ustawienie nie dotyczy trenowania AI i nie jest czynnikiem rankingu.
| Cel | Narzędzie |
|---|---|
| Nie chcę, by Google trenował Gemini na moich treściach | Google-Extended w robots.txt |
| Nie chcę być w Przeglądzie od AI i Trybie AI | Ustawienie „Generatywna AI w wyszukiwarce” w Search Console |
| Nie chcę być w wyszukiwarce Google w ogóle | noindex albo hasło (nie robots.txt) |
Jak sprawdzić plik robots.txt
- Wpisz w przeglądarce twojadomena.pl/robots.txt. Jeśli widzisz tekst z regułami, plik istnieje.
- W Google Search Console otwórz „Ustawienia” i raport dotyczący pliku robots.txt. Zobaczysz, kiedy Google ostatnio pobrał plik, czy go pobrał i jakie wiersze uznał za błędne. Raport działa dla usługi domeny albo usługi z adresem bez ścieżki.
- Po pilnej poprawce możesz w tym raporcie poprosić o ponowne pobranie pliku.
- Pojedynczy adres sprawdzisz w narzędziu do sprawdzania adresów URL: pokaże, czy strona jest zablokowana przez robots.txt.
Jak dodać stronę do Search Console i czytać pozostałe raporty, wyjaśniamy w poradniku Google Search Console: co to jest i jak zacząć.
Strona zablokowana przez plik robots.txt: najczęstsze błędy
- Disallow: / po wdrożeniu. Wersja testowa była zablokowana i blokada przeszła na nową stronę. To najczęstszy powód, dla którego nowa strona nie pojawia się w Google. Więcej przyczyn w tekście jak dodać stronę do Google.
- Zablokowane pliki CSS i JavaScript. Google widzi wtedy rozsypaną stronę.
- Blokada zamiast noindex. Strona zostaje w wynikach bez opisu, a Google nie widzi tagu, który miał ją usunąć.
- Literówka w nazwie bota lub ścieżki. Reguła nie działa, a Ty myślisz, że działa.
- Błędy serwera przy pobieraniu pliku. Gdy robots.txt zwraca błąd 5xx, Google przez pierwsze 12 godzin przestaje odwiedzać stronę i próbuje pobrać plik ponownie, a potem przez 30 dni korzysta z ostatniej poprawnej wersji pliku. Sprawdź stan pobierania w raporcie.
Najczęstsze pytania o plik robots.txt
Robots.txt co to jest w prostych słowach?
To instrukcja dla robotów wyszukiwarek i botów AI zapisana w pliku tekstowym na Twojej stronie. Mówi, które adresy mogą odwiedzać, a których nie.
Jak sprawdzić plik robots.txt na stronie?
Dopisz /robots.txt do adresu strony głównej i otwórz go w przeglądarce. Szczegóły, jak widzi go Google, znajdziesz w raporcie dotyczącym pliku robots.txt w ustawieniach Google Search Console.
Co oznacza strona zablokowana przez plik robots.txt?
Google nie może pobrać tej strony, bo reguła Disallow zabrania wejścia. Jeśli to ważna strona, usuń lub popraw regułę i poproś o ponowne pobranie pliku w Search Console.
Czy blokada GPTBot usuwa stronę z ChatGPT?
Nie. GPTBot dotyczy trenowania modeli. Za obecność w wyszukiwaniu ChatGPT odpowiada OAI-SearchBot, a wejścia na prośbę użytkownika (ChatGPT-User) mogą pomijać robots.txt.
Czy Google-Extended blokuje Przegląd od AI?
Nie. Google-Extended dotyczy trenowania Gemini i aplikacji Gemini. Wykluczenie z funkcji AI w wyszukiwarce ustawisz w Search Console w „Ustawienia” > „Generatywna AI w wyszukiwarce”.
Strona, którą roboty dobrze rozumieją
Robots.txt to jeden z kilku technicznych elementów, które decydują, czy Google i wyszukiwarki AI w ogóle zobaczą Twoją stronę. Przy stronach internetowych dla firm od razu ustawiamy plik robots.txt, mapę witryny i Search Console, żeby nowa strona nie startowała z blokadą.