Термин:

Robots.txt

Синонимы:
Файл с рекомендациями для поисковых роботов. Например, не индексировать определённые страницы сайта. Помещается в корневую директорию. 
Понятность статьи: