Роботс

Роботс - инструкции для поискового робота (robots.txt). Robots.txt запрещает или разрешает индексацию поисковыми системами отдельных частей сайта, папок или всего сайта. Размещается в корневой директории сайта.