Kamil Rybicki · Opublikowano: · Zaktualizowano:
WordPress od wersji 5.3 blokuje indeksowanie strony znacznikiem meta robots z wartością noindex, a nie samym wpisem w pliku robots.txt. Ten mechanizm nie działa jednak na boty AI, takie jak ClaudeBot, GPTBot czy Google-Extended – w ogóle nie sprawdzają ustawienia „Zniechęcaj wyszukiwarki do indeksowania tej witryny”. Żeby je zablokować, trzeba dopisać osobną regułę w pliku robots.txt dla każdego bota z osobna.
Jak zablokować boty AI, na przykład ClaudeBota, w WordPressie?
WordPress nie ma wbudowanego przełącznika do blokowania pojedynczych botów AI. Trzeba dopisać reguły ręcznie w pliku robots.txt albo skorzystać z wtyczki SEO, która ma taki edytor w panelu. Każdy bot ma własny identyfikator (user-agent), więc blokuje się je pojedynczo, nie jedną wspólną dyrektywą.
| Bot | Operator | Do czego służy |
|---|---|---|
| GPTBot | OpenAI | zbiera treść do trenowania modeli |
| OAI-SearchBot | OpenAI | pobiera strony na żywo do wyszukiwania w ChatGPT |
| ClaudeBot | Anthropic | zbiera treść do trenowania modeli Claude |
| CCBot | Common Crawl | ogólny zbiór danych, z którego korzysta wiele firm AI |
| Google-Extended | trenowanie Gemini i danych pod AI Overviews, nie Googlebot | |
| PerplexityBot | Perplexity | pobiera strony do odpowiedzi generowanych na żywo |
| Bytespider | ByteDance | zbiera treść do modeli spółki matki TikToka |
Reguła dla każdego z nich wygląda identycznie, tylko z inną nazwą bota:
„`
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
„`
W WordPressie plik dodaje się na trzy sposoby: przez wbudowany edytor robots.txt we wtyczce SEO (Yoast SEO, Rank Math i All in One SEO mają go w menu narzędzi), przez wgranie własnego pliku robots.txt na serwer przez FTP lub menedżer plików hostingu, albo przez małą wtyczkę dedykowaną blokowaniu botów. Fizyczny plik w katalogu głównym domeny nadpisuje wersję generowaną automatycznie przez WordPress.
Decyzja, które boty wpuścić, ma wymiar finansowy, nie tylko techniczny. Boty trenujące modele, takie jak GPTBot czy CCBot, tylko pobierają treść i nie przyprowadzają w zamian żadnego ruchu, a przy większym serwisie generują realne obciążenie i wyższy rachunek za hosting. WordPress jest jednym z częściej skanowanych systemów w sieci, więc ruch od botów bywa zauważalnym kosztem – bieżące obserwacje tego typu ruchu publikuje Wordfence. Inaczej wygląda sprawa z botami obsługującymi wyszukiwanie na żywo, jak PerplexityBot czy OAI-SearchBot: ich zablokowanie zamyka drogę do pojawienia się w odpowiedzi generowanej przez asystenta AI, czyli w kanale, który dla części zapytań zaczyna zastępować klasyczną listę wyników.
Czym różni się blokada w robots.txt od znacznika noindex w WordPressie?
Plik robots.txt steruje wyłącznie tym, czy robot może pobrać treść danego adresu – nie decyduje, czy adres trafi do indeksu wyszukiwarki. Znacznik meta robots z wartością noindex działa odwrotnie: pozwala robotowi wejść na stronę, ale nakazuje mu pominąć ją przy budowaniu indeksu. Zablokowanie samego adresu w robots.txt bywa więc nieskuteczne, bo Google potrafi dodać taki URL do wyników na podstawie linków prowadzących do niego, pokazując go bez opisu.
WordPress rozwiązuje to dziś przez zaznaczenie opcji w Ustawienia → Czytanie → sekcja „Widoczność dla wyszukiwarek” → „Zniechęcaj wyszukiwarki do indeksowania tej witryny”. Po jej zaznaczeniu strona dostaje jednocześnie znacznik noindex w każdej podstronie i wpis Disallow w wirtualnym robots.txt, co domyka lukę opisaną wyżej. Blokada na poziomie serwera, np. reguła w pliku .htaccess odrzucająca żądania po nagłówku user-agent, bywa jedynym sposobem na boty, które ignorują zarówno robots.txt, jak i meta tagi – dotyczy to głównie skanerów i botów spamowych, nie głównych botów AI, które w większości honorują robots.txt.
Czy blokowanie botów AI wpływa na widoczność strony w Google i w odpowiedziach AI?
Zablokowanie botów AI, takich jak GPTBot czy ClaudeBot, nie zmienia pozycji strony w klasycznych wynikach Google. O rankingu decyduje Googlebot, czyli zupełnie inny, odrębny crawler. Wyjątkiem, który trzeba rozróżnić, jest Google-Extended: ten identyfikator kontroluje wyłącznie wykorzystanie treści do trenowania Gemini i do generowania odpowiedzi w AI Overviews, a jego zablokowanie też nie rusza pozycji w wyszukiwarce.
Mechanikę funkcji AI w wyszukiwarce, w tym AI Overviews, opisuje Google Search Central – wynika z niej, że wygenerowana odpowiedź może cytować i linkować źródło, nawet gdy użytkownik nie kliknie w wynik pod spodem. Dla firmy to pytanie o kanał pozyskania klienta, nie tylko o ustawienie techniczne. Zablokowanie Google-Extended chroni treść przed użyciem w danych treningowych, ale wyklucza też szansę na cytowanie w odpowiedzi generowanej przez model. Przy frazach transakcyjnych, gdzie odpowiedzi AI pojawiają się rzadko, ryzyko utraty ruchu jest niewielkie. Przy treściach poradnikowych, gdzie AI Overviews odpowiada za dużą część zapytań informacyjnych, warto rozważyć zostawienie tego bota odblokowanego, jeśli zasięg w takiej formie ma dla firmy znaczenie.
Lista aktywnych botów AI zmienia się częściej niż kiedyś lista wyszukiwarek. Nowe firmy trenujące modele językowe pojawiają się regularnie, każda z własnym identyfikatorem. Plik robots.txt warto raz na jakiś czas przejrzeć i uzupełnić o nowe pozycje, zamiast zakładać, że reguła ustawiona raz wystarczy na stałe.
Blokowanie botów AI w WordPressie – pytania i odpowiedzi
Format pytanie-odpowiedź można oznaczyć danymi strukturalnymi FAQ, opisanymi przez Google Search Central.
Czy plik robots.txt wystarczy, żeby zablokować boty AI w WordPressie?
Tak, w przypadku większości dużych botów AI, takich jak GPTBot czy ClaudeBot, bo ich operatorzy zadeklarowali, że honorują ten plik. To jednak żadne zabezpieczenie techniczne, tylko prośba, którą bot może zignorować. Boty łamiące tę zasadę, najczęściej skanery i boty spamowe, a nie główni gracze rynku AI, trzeba blokować na poziomie serwera, np. regułą w .htaccess.
Jak dodać regułę blokującą ClaudeBota w WordPressie?
Do pliku robots.txt w głównym katalogu domeny trzeba dopisać dwie linie: „User-agent: ClaudeBot” i „Disallow: /”. Plik edytuje się przez menedżer plików hostingu, FTP albo panel wtyczki SEO z wbudowanym edytorem robots.txt. Po zmianie warto sprawdzić adres domena.pl/robots.txt, żeby upewnić się, że reguła się zapisała.
Czy zablokowanie GPTBota lub ClaudeBota obniży pozycję strony w wynikach Google?
Nie, bo to inne boty niż Googlebot, odpowiedzialny za indeksowanie i ranking w klasycznym wyszukiwaniu. Wyjątkiem jest Google-Extended: jego zablokowanie wyłącza treść z danych trenujących Gemini i z AI Overviews, ale również nie rusza pozycji w standardowych wynikach.
Czym różni się blokada botów AI od ustawienia „Zniechęcaj wyszukiwarki do indeksowania” w WordPressie?
Ustawienie w Ustawienia → Czytanie działa na wyszukiwarki takie jak Google i chowa całą witrynę z indeksu znacznikiem noindex. Nie ma wpływu na boty AI, bo te w większości nie sprawdzają meta tagów, tylko reguł w robots.txt. To dwa osobne mechanizmy, które trzeba skonfigurować niezależnie.
Czy warto blokować wszystkie boty AI, czy tylko wybrane?
Zależy od tego, czy chodzi o boty trenujące modele, czy o boty obsługujące wyszukiwanie na żywo. Zablokowanie GPTBota czy CCBota chroni treść przed użyciem w danych treningowych bez realnej straty w ruchu, bo te boty i tak nie przyprowadzają użytkowników. Zablokowanie PerplexityBota czy OAI-SearchBota zamyka natomiast drogę do pojawienia się w odpowiedziach generowanych na żywo, czyli w kanale, który dla części firm zaczyna mieć znaczenie handlowe.
