seo BLOG

Roboty sieciowe, przeszukując strony i serwisy www, podążają za linkami wgłąb do katalogów. Prostą metodą kierowywania robotami na swoich stronach WWW jest używanie popularnych meta tagów. Co zrobić jednak, jeśli chcemy by konkretny robot NIE wchodził do konkretnego katalogu naszego serwisu ? Możesz to określić poprzez umieszczenie w głównym katalogu swojego serwisu pliku o nazwie robots, który jest plikiem tekstowym bez tagów HTML, korzystającym z specjalnego protokołu The Robots Exclusion Protocol.