Анализ robots.txt

Укажите имя вашего сайта и нажмите кнопку «Загрузить robots.txt с сайта».

Нажав кнопку «Проверить», вы можете узнать, будет ли робот обходить страницы, заданные в окне «Список URL».

Редактируя правила, составьте файл robots.txt, подходящий для вашего сайта. Помните, что файл на сайте при этом не меняется. Для того, чтобы изменения вступили в силу, вам потребуется самостоятельно загрузить обновленную версию robots.txt на сайт.