Роботы поисковых систем

Роботы поисковых систем - это специальные программы, которые входят в состав программного комплекса поискового сервера, осуществляющие поставленные им задачи согласно поисковому механизму. При этом программа, которая посещает веб-страницы, считывает (индексирует) полностью или частично их содержимое и далее следует по ссылкам, найденным на данной странице. Робот возвращается через определенные периоды времени и индексирует страницу снова. Вся информация заносится роботом в индексы поисковой системы. Управлять роботами поисковых машин Yandex, Google и Rambler можно с помощью файла robots.txt