Создание robots.txt

Протокол ограничения поисковых роботов (Robots Exclusion Protocol) - это метод, позволяющий администраторам веб-сайтов указывать поисковых роботам, посещающим сайт, какие части их сайтов индексировать нельзя. При заходе на ваш сайт поисковый робот загружает файл robots.txt, содержащий инструкции что можно и что нельзя индексировать. Это текстовый ASCII файл, лежащий в корневом каталоге сайта (например, если адрес вашего сайта http://www.yoursite.com/, то файл robots.txt должен находится по адресу http://www.yoursite.com/robots.txt, в любом другом каталоге робот его просто не увидит) и содержащий имена пользовательских агентов роботов и каталоги, которые упомянутым роботам запрещено индексировать. Причины для запрета могут быть разные - от административной части до приватных каталогов, содержащих ваши или клиентские документы, не предназначенные для просмотра посторонними. Также, проблемы может возникать у пользователей, у которых установлен Google Toolbar, который фиксирует страницы, которые вы посещаете и сообщает о них роботу Google. Так в рейтинге поисковой машины моут появлятся страницы, на которые не ссылается ни одна внешняя страница. Поэтому ключом к контролированию спайдеров является файл robots.txt. Если у вас большой веб-сайт или вы часто его обновляете, создавать и редактировать файл robots.txt будет тяжелым и скучным занятием.

Файл можно создать, используя простой текстовый редактор, например notepad, но очень сложно создать такой файл вручную, не допустив где-либо ошибок.

Файл robots.txt состоит из записей. Каждая запись содержит два поля: строка пользовательского агента (User-agent) и строка запрета (Disallow). Так, запрет для индексации роботом Google содержимого папки cgi–bin будет выглядеть следующим образом:

User-agent: googlebot  
Disallow: /cgi-bin/ 

Использование символа "*" в поле пользовательского агента будет значить, что запрет распостраняется на всех роботов:

User-agent: * 
Disallow: /cgi-bin/

В данном случае индексация папки cgi-bin запрещена для всех роботов.

Используя символ "*" можно запретить также индексацию определенного типа файлов по расширениям. Так следующая запись запрещает всем роботам индексацию файлов с расширениями .doc и .pdf:

User-Agent: * 
Disallow: /*.doc$ 
Disallow: /*.pdf$

Запись, начинающаяся символом "#" будет интерпретироваться как комментарий:

# Generated by Page Promoter (http://www.pagepromoter.com/)

Редактор файлов Robots.txt это удобный визуальный редактор, который дает возможность назначать разные указания для выбранных поисковых роботов в специфических областях сайта и легко и быстро генерировать файл robots.txt.

Модуль имеет две вкладки: Список спайдеров и Запретить.

Список спайдеров

На вкладке Список спайдеров отображаются имена всех роботов, содержащихся в базе данных программы (всего более 180). Существует три поля для каждого робота. Можно группировать роботов в алфавитном порядке в любом из этих полей щелкнув на заголовке колонки.

1. Спайдеры - названия поисковых машин и сервисов, которым принадлежат спайдеры
2. Пользовательские агенты - названия пользовательских агентов спайдеров (например, робот Рамблера - StackRambler)
3. Страна – страна, где зарегистрирована поисковая машина
4. Основной язык – основной язык поисковой машины. Хотя некоторые поисковые машины (например Google) для пользователей из разных стран имеют интерфейс на разных языках, их основным языком в большинстве случаев является язык страны, где находится поисковая машина.
   

Выберите роботов, которым вы хотите запретить индексирования вашего сайта включив флажки напротив их имени и перейдите на вкладку Запретить.

Импортировать файл robots.txt Если вы хотите изменить существующий файл robots.txt, можно импортировать его в программу и отредактировать. Щелкните Импортировать файл robots.txt чтобы запустить Мастер настройки импорта. Импорт файла состоит из трех шагов:

1. Первый шаг мастера импорта – нужно выбрать размещение импортируемого файла. Выберите Импортировать из сайта, если файл расположен на работающем сайте. Выберите Импортировать из локального файла, если файл сохранен на локальном компьютере.
2. Второй шаг – нужно указать путь к файлу.
   • Для импорта из сайта укажите адрес файла по протоколу HTTP
   • Для локального файла введите путь к файлу, либо нажмите кнопку Обзор и выберите файл в стандартном диалоге Windows.
   Нажмите Завершить.

Запретить

На вкладке Запретить можно выбрать файлы и папки вашего сайта, которые вы бы хотели оставить непроиндексированными.

Вкладка имеет два окна. В первом окне отображаются спайдеры, выбранные на вкладке Список спайдеров. Вы можете группировать их по стране размещения или по основному языку, выбрав соответственное значение в «выпадающем» меню Группировать по: В другом окне отображается структурный каталог вашего сайта. После первого запуска программы папкой сайта по умолчанию является папка, где установлена программа Page Promoter.

Чтобы указать программе расположение вашего сайта, установите переключатель на нужную опцию - FTP или Локально. При этом программа проверит, указаны ли необходимые данные в настройках, и при их отсутствии предложит заполнить их.

Если корневая папка сайта установлена правильно, вы увидите ее файловое и каталожное дерево. Можно развернуть узел каталога, нажав рядом с иконкой папки. Чтобы выбрать папки, которые вы хотите включить в список или оставить непроиндексированными, включите их флажки .

Можно отменить выделение папок нажав . Появится следующий диалог, где нужно указать применяется ли это для выбранных поисковых спайдеров или для всех спайдеров.

Чтобы выбрать папки, которые вы хотите оставить непроиндексированными, проделайте следующее:

1. Выберите спайдера.
2. Включите флажки напротив папок, которые будут запрещены для этого спайдера
3. Нажмите Генерировать

Внимание: если вы хотите применить одинаковые правила для всех роботов, убедитесь, что отмечен пункт *(All Spiders), в противном случае ограничения будут применены только для выбранного робота (то есть того, что отмечен курсором)

Можно запретить доступ к файлам определенного расширения. Нажмите и в появившемся окне добавьте или удалите нужные расширения.

При нажатии В появившемся окне отображается содержимое файла robots.txt. Если результат приемлемый, можно сохранить файл нажав Сохранить файл. Укажите куда сохранить файл нажмите Сохранить.

Смотрите в Интернете: Стандарт исключения роботов