To prośba, nie zabezpieczenie: uczciwe roboty ją respektują, złośliwe nie. Nie chowaj w nim adresów, które mają być tajne, bo plik jest publiczny. Dobrze jest w nim wskazać mapę strony i nie blokować plików potrzebnych do wyświetlenia strony.
robots.txt
Plik, w którym mówisz robotom wyszukiwarek, do czego mają, a do czego nie mają wstępu.
Brakuje hasła albo coś jest niejasne? Napisz, dopiszę.