Файл robot.txt имеет особую структуру записей, из которых он состоит. Каждая запись в нем содержит два поля: user-agent – это название клиентского приложения, второе поле может состоять из множества строк, запрещающих доступ к директивам.Сам файл должен быть создан с использованием текстового редактора Unix. При создании в Windows, файл следует перевести в Unix формат, это можно сделать используя современный текстовый редактор.

И так, в файле robots.txt можно обозначить определенные правила, которым будут следовать поисковые роботы. Для того чтобы указать конкретного робота для этих правил, его имя следует прописать в поле user-agent. Названия поисковых роботов можно узнать из логов сервера, на котором расположен web-сайт, например, Googlebot, Yahoo! Slurp, Yandex, Mail.Ru, StackRambler, WebAlta. Примером обращения к роботу служит строка: User-agent: Yandex. Также существует возможность обращения ко всем роботам сразу, для этого вместо названия следует вписать символ “*”.

Во второй части записи находятся строки определяющие файлы и названия каталогов, которые запрещено индексировать роботу, указанному в поле user-agent. Примерами записи являются строки: Disallow: filename.html для запрета индексации файла или Disallow: /catalogname/ для запрета индексации всех файлов в указанном каталоге. По правилам каждому полю user-agent должна соответствовать минимум одна строка Disallow.

Для того чтобы разрешить роботам индексировать все файлы web-ресурса необходимо оставить значение сроки Disallow пустым.

Также для большей понятности файла людям, в нем можно записывать комментарии, которые поисковые пауки будут пропускать. Принято писать комментарии на новой строке, начиная с символа “#”.

Посмотреть примеры действующих файлов можно, используя обычный браузер. Для этого необходимо в адресную строку вписать название сайта и название файла, например, website.ru/robots.txt.

Чтобы обеспечить корректное выполнение задач файла необходимо следовать нескольким правилам:

- В каждой строке Disallow должна быть указана только одна директива;

- Следует соблюдать синтаксис;

- Редактирование файла должно выполняться в режиме Unix;

- Комментарии необходимо писать на новой строке;

- Следует соблюдать правильный регистр символов.

Профессиональная поддержка сайтов: +7 (967)2606707