Robots.txt


Robots.txt – своеобразная инструкция, которая предназначается для роботов-поисковиков. Эту программу заносят на сайт в его корневую папку. Оттуда она может контролировать поведение роботов. Особенно это касается индексации определенной части сайта.

При создании и редактировании robots.txt нужно понимать правила обработки файла разными поисковыми системами, чтобы случайно не навредить сайту.