Crawlowanie to pobranie strony przez Googlebota, indeksowanie to późniejsza decyzja, czy zapisać ją w bazie, z której Google dobiera wyniki. Jak oba etapy rozdziela raport Strony w Search Console i co pokazują dane roseo.com.pl – 234 zindeksowane, 104 niezindeksowane adresy.
Mapa witryny XML to plik z listą adresów strony, który podpowiada robotom wyszukiwarek, jakie podstrony istnieją i kiedy zmieniła się ich treść. Co ma zawierać, jak wygląda struktura pliku i indeks map na przykładzie roseo.com.pl, jak zgłosić mapę w Search Console i czego nie gwarantuje.
Plik robots.txt to plik tekstowy pod adresem domena.pl/robots.txt, w którym właściciel strony wskazuje robotom wyszukiwarek, których adresów nie pobierać. Jak wygląda jego składnia, do czego służy i dlaczego nie usuwa stron z indeksu Google.
