Co to jest Googlebot i jak odwiedza strony?
W osobnym artykule w naszym Centrum Pomocy wyjaśniliśmy już, co to jest indeksowanie strony w Google, na czym ten proces polega, a także co zrobić, jeśli witryna nie jest widoczna w wyszukiwarce. Tym razem zajmiemy się Googlebotem, a właściwie Googlebotami, które każdego dnia odwiedzają internet w poszukiwaniu nowych adresów, zmian oraz zaktualizowanych treści. Googleboty to automatyczne programy Google służące do odnajdywania i pobierania stron internetowych. Ich zadaniem nie jest bezpośrednie ustalenie pozycji strony, lecz dostarczenie Google materiału, który później może zostać przeanalizowany i dodany do indeksu.
Googlebot nie jest zwykłym użytkownikiem przeglądającym kolejne podstrony. Działa automatycznie, korzysta z wykrytych linków i map witryny, a częstotliwość jego wizyt zależy między innymi od wielkości serwisu, szybkości serwera oraz tego, jak często zmieniają się treści.
Co to jest Googlebot?
Googlebot to robot indeksujący, nazywany również crawlerem, botem lub spiderem.
W dużym uproszczeniu robot indeksujący odwiedza znalezione adresy URL, pobiera ich kod HTML, obrazy, arkusze CSS, pliki JavaScript i inne zasoby potrzebne do zrozumienia strony.
Google korzysta z kilku robotów przeznaczonych do różnych usług. W przypadku zwykłych stron internetowych najważniejsze są Googlebot Smartphone oraz Googlebot Desktop. Pierwszy zachowuje się jak użytkownik telefonu, drugi jak osoba korzystająca z komputera. Obecnie główne znaczenie ma wersja mobilna, dlatego treść dostępna na telefonie nie powinna być uboższa od wersji desktopowej.
Samo odwiedzenie strony przez Googlebota nie oznacza jeszcze, że zostanie ona zaindeksowana. Robot dostarcza dane do dalszej analizy, a Google decyduje później, czy adres powinien znaleźć się w indeksie i dla jakich zapytań może być przydatny.
Jak Googlebot znajduje i odwiedza strony?
Googlebot najczęściej odkrywa nowe adresy poprzez linki prowadzące z innych podstron. Dlatego ważne strony nie powinny pozostawać bez żadnego linku wewnętrznego. Robot również korzysta z mapy witryny XML, która przekazuje mu uporządkowaną listę adresów przeznaczonych do odwiedzenia.
Jak to działa? Po wejściu na stronę Googlebot pobiera jej zawartość. Jeżeli serwis wykorzystuje JavaScript, Google może umieścić stronę w kolejce do renderowania, a następnie uruchomić skrypty i sprawdzić treść widoczną po ich wykonaniu. Google potrafi przetwarzać JavaScript, ale zablokowane pliki, błędy skryptów albo treść ładowana dopiero po działaniu użytkownika nadal mogą utrudnić jej odczytanie.
To jednak nie wszystko, bo masz wpływ na to, czy roboty wejdą czy nie, a sam dostęp robotów kontroluje między innymi plik robots.txt. Zawarte w nim reguły mogą zezwalać na odwiedzanie wybranych części serwisu albo je blokować. Trzeba jednak pamiętać, że robots.txt steruje przede wszystkim skanowaniem strony i nie jest pewnym sposobem na usunięcie adresu z wyników wyszukiwania.
Czy Googlebot odwiedza każdą stronę równie często?
Nie. Google dopasowuje częstotliwość skanowania do możliwości serwera oraz własnej oceny zapotrzebowania na ponowne odwiedzenie adresu. Strona główna serwisu informacyjnego może być sprawdzana znacznie częściej niż stary artykuł, który od miesięcy się nie zmienia.
W dużych sklepach i portalach znaczenie zyskuje crawl budget, czyli budżet indeksowania. Określa on zbiór adresów, które Googlebot jest w stanie i chce przeskanować. Jeżeli robot traci zasoby na tysiące filtrów, duplikatów oraz niepotrzebnych parametrów URL, ważne podstrony mogą być odwiedzane rzadziej.
W małym serwisie nie trzeba obsesyjnie analizować każdego wejścia robota. Znacznie ważniejsze jest, aby strona działała stabilnie, zwracała prawidłowe kody odpowiedzi, posiadała logiczne linkowanie i nie blokowała istotnych zasobów.
Chcesz sprawdzić, czy Googlebot odwiedził konkretną podstronę? Skorzystaj z Google Search Console i narzędzia do sprawdzania adresów URL. Zobaczysz w nim datę ostatniego skanowania, sposób wykrycia adresu oraz ewentualne problemy z pobieraniem. Jeżeli witryna działa wolno albo zwraca błędy serwera, wybierz szybki hosting SEOHOST.pl lub skorzystaj z bezpłatnej migracji strony.