Sitemap XML pomaga wyszukiwarce odkrywać adresy, które właściciel serwisu uważa za przeznaczone do indeksowania. Plik robots.txt określa natomiast, do których obszarów robot może wysyłać żądania. Te mechanizmy pełnią różne funkcje i nie powinny przekazywać sprzecznych instrukcji. Umieszczenie URL-a w mapie nie gwarantuje indeksowania. Zablokowanie adresu w robots.txt nie jest natomiast pewną metodą usunięcia go z...