Każdy właściciel serwisu internetowego powinien zadbać o poprawne zarządzanie ruchem robotów wyszukiwarek oraz ułatwić im dostęp do istotnych zasobów. Właściwie skonfigurowane pliki robots.txt i sitemap.xml mogą znacząco wpłynąć na widoczność strony w wynikach wyszukiwania, przyspieszając proces indeksowania i minimalizując ryzyko zaindeksowania niechcianych katalogów.
Podstawy pliku robots.txt
Plik robots.txt znajduje się zawsze w katalogu głównym serwera (np. example.com/robots.txt). Jego zadaniem jest przekazanie robotom informacjów o tym, które sekcje serwisu mogą bez przeszkód crawlować, a które powinny zostać wykluczone z procesu crawlowania. Każda linia pliku to prosta instrukcja zwana dyrektywą. Przykładowe dyrektywy:
- User-agent – określa grupę robotów (np. Googlebot, Bingbot lub gwiazdka (*) dla wszystkich)
- Disallow – blokuje dostęp do wskazanego katalogu lub pliku
- Allow – pozwala na dostęp do określonej ścieżki, nawet jeżeli rodzicielski katalog jest zablokowany
Przykład podstawowej struktury:
User-agent: * Disallow: /admin/ Allow: /public/
Dzięki temu roboty wyszukiwarek zignorują zawartość katalogu /admin/, ale będą indeksować pliki w folderze /public/. Pamiętaj, że każda linijka powinna kończyć się znakiem nowej linii, a niektóre serwery oczekują kodowania UTF-8 bez BOM.
Tworzenie i testowanie pliku robots.txt
Wybór narzędzia do edycji
Możesz wykorzystać dowolny edytor tekstowy, od Notatnika w Windows po zaawansowane IDE, ale kluczowe jest zapisywanie pliku w czystym formacie tekstowym (*.txt). Upewnij się, że nazwa pliku to dokładnie robots.txt i że trafia on do katalogu root Twojego serwera.
Podstawowe testy poprawności
- Sprawdź dostępność pliku, wchodząc pod adres example.com/robots.txt
- Skorzystaj z Konsoli Google Search Console, aby zweryfikować, czy Googlebot może przeczytać wskazane instrukcje
- Unikaj sprzecznych instrukcji – nie blokuj i jednocześnie nie dopuszczaj tej samej ścieżki
Regularne audyty umożliwiają bieżące wykrywanie błędów, które mogą prowadzić do sytuacji, w której kluczowe podstrony przestają być indeksowane. Warto także monitorować logi serwera, by zobaczyć, które zasoby roboty faktycznie odwiedzają.
Generowanie i konfiguracja sitemap.xml
Mapa witryny, czyli plik sitemap.xml, ułatwia botom zrozumienie struktury Twojej strony oraz wskazuje priorytet poszczególnych adresów URL i częstotliwość zmian. Plik powinien zaczynać się od deklaracji XML:
Elementy wpisu URL
- loc – pełny Adres URL strony
- lastmod – data ostatniej modyfikacji w formacie RRRR-MM-DD
- changefreq – sugerowana częstotliwość zmian (daily, weekly, monthly)
- priority – wartość od 0.0 do 1.0, określająca wagę danej podstrony
Aby wygenerować taką mapę, można sięgać po narzędzia online, wtyczki CMS (np. dla WordPress czy Joomla) lub skrypty PHP/Python. Zwróć uwagę, by plik był poprawnie kodowany i zgodny ze schematem XML, w przeciwnym razie wyszukiwarki mogą go odrzucić.
Integracja plików robots.txt i sitemap.xml
Na końcu pliku robots.txt umieść odnośnik do mapy witryny, co pozwala robotom od razu ją zlokalizować:
Sitemap: https://example.com/sitemap.xml
Dzięki temu nawet jeśli boty nie przeszukają całego katalogu, znajdą informacje o wszystkich ważnych podstronach. Warto również umieścić mapę w stopce strony lub w pliku robots.txt z redundancją, co dodatkowo zwiększa szansę na jej odkrycie.
Najlepsze praktyki
- Zawsze weryfikuj aktualność pliku sitemap.xml po dodaniu nowych sekcji
- Monitoruj komunikaty w Google Search Console dotyczące błędów indeksowania
- Unikaj nadmiernego zablokowania katalogów – czasem zdarza się, że boty nie widzą nowych zmian
- Dbaj o czytelność i logikę struktury URL, by priorytety w mapie odzwierciedlały realne cele SEO
