Краулинг — это процесс индексации вашего сайта ботом, после которого сайт попадает в поисковую выдачу. Индексация происходит периодически, поэтому все обновления на вашем сайте: новые страницы, элементы SEO и прочее — отображаются в обновленной выдаче.
Виды и примеры краулинга
- Автоматический — автоиндексация, которую осуществляют боты от поисковых систем: Яндекс, Google и другие.
- Ручной — индексация с помощью специальных софтов: Black Widow, Metasploit и другие — которую может запустить ваш веб-мастер. И не надо дожидаться краулинга от ботов Яндекса и других поисковых систем. Более простой вариант — отправить страницы на индексацию в Яндекс Вебмастере.
