Поисковые роботы или пауки - программы, входящие в состав программного обеспечения поисковой машины. Поисковые роботы занимаются индексацией страниц - скачивают страницы и заносят в индекс. Регулировать их работу с сайтом можно через файл robots.txt, в этом случае поисковая системе может не индексировать указанные ей части сайта.