8.34. В журнале ошибок apache зачастую появляются сообщения о попытках запросить файл robots.txt. Кому и зачем он нужен?

Этот файл содержит правила (Robot Rules) исключений для различных роботов индексации, поиска или зеркалирования веб-серверов.

Стандарт, описывающий содержимое этого файла, можно найти по адресу http://info.webcrawler.com/mak/projects/robots/norobots.html