Robots.txt

Файл с рекомендациями для поисковых роботов. Например, не индексировать определённые страницы сайта. Помещается в корневую директорию.