Интеграктивный рейтинг сайтов на основе BIG DATA
понедельник - пятница с 10:00 до 18:00
О компанииNetPromoter - инновационная технологическая компания-разработчик программных решений в области кибермаркетинга. Компания основана в 1999 году и специализируется на разработке индивидуальных решений в области продвижения, мониторинга и анализа ресурса. За время существования компании был накоплен огромный опыт работы, результатом которого стало создание комплекса программного обеспечения и услуг Page Promoter. Высокий профессиональный уровень наших сотрудников в сочетании с самыми передовыми технологиями позволяет гарантировать нашим клиентам полную отдачу вложенных средств, а также неизменное качество и эффективность предложенных услуг. | Создание robots.txtГлавная / Архив версий / Page Promoter 7.7.1 / Помощь / Подготовка / Создание robots.txtПротокол ограничения поисковых роботов (Robots Exclusion Protocol) - это метод, позволяющий администраторам веб-сайтов указывать поисковых роботам, посещающим сайт, какие части их сайтов индексировать нельзя. При заходе на ваш сайт поисковый робот загружает файл robots.txt, содержащий инструкции что можно и что нельзя индексировать. Это текстовый ASCII файл, лежащий в корневом каталоге сайта (например, если адрес вашего сайта http://www.yoursite.com/, то файл robots.txt должен находится по адресу http://www.yoursite.com/robots.txt, в любом другом каталоге робот его просто не увидит) и содержащий имена пользовательских агентов роботов и каталоги, которые упомянутым роботам запрещено индексировать. Причины для запрета могут быть разные - от административной части до приватных каталогов, содержащих ваши или клиентские документы, не предназначенные для просмотра посторонними. Также, проблемы может возникать у пользователей, у которых установлен Google Toolbar, который фиксирует страницы, которые вы посещаете и сообщает о них роботу Google. Так в рейтинге поисковой машины моут появлятся страницы, на которые не ссылается ни одна внешняя страница. Поэтому ключом к контролированию спайдеров является файл robots.txt. Если у вас большой веб-сайт или вы часто его обновляете, создавать и редактировать файл robots.txt будет тяжелым и скучным занятием. Файл можно создать, используя простой текстовый редактор, например notepad, но очень сложно создать такой файл вручную, не допустив где-либо ошибок. Файл robots.txt состоит из записей. Каждая запись содержит два поля: строка пользовательского агента (User-agent) и строка запрета (Disallow). Так, запрет для индексации роботом Google содержимого папки User-agent: googlebot Использование символа "*" в поле пользовательского агента будет значить, что запрет распостраняется на всех роботов: User-agent: * В данном случае индексация папки cgi-bin запрещена для всех роботов. Используя символ "*" можно запретить также индексацию определенного типа файлов по расширениям. Так следующая запись запрещает всем роботам индексацию файлов с расширениями User-Agent: * Запись, начинающаяся символом "#" будет интерпретироваться как комментарий: # Generated by Page Promoter (http://www.pagepromoter.com/) Редактор файлов Robots.txt это удобный визуальный редактор, который дает возможность назначать разные указания для выбранных поисковых роботов в специфических областях сайта и легко и быстро генерировать файл robots.txt. Модуль имеет две вкладки: Список спайдеров и Запретить. Список спайдеровНа вкладке Список спайдеров отображаются имена всех роботов, содержащихся в базе данных программы (всего более 180). Существует три поля для каждого робота. Можно группировать роботов в алфавитном порядке в любом из этих полей щелкнув на заголовке колонки.
Выберите роботов, которым вы хотите запретить индексирования вашего сайта включив флажки напротив их имени и перейдите на вкладку Запретить. Если вы хотите изменить существующий файл
ЗапретитьНа вкладке Запретить можно выбрать файлы и папки вашего сайта, которые вы бы хотели оставить непроиндексированными. Вкладка имеет два окна. В первом окне отображаются спайдеры, выбранные на вкладке Список спайдеров. Вы можете группировать их по стране размещения или по основному языку, выбрав соответственное значение в «выпадающем» меню Группировать по: В другом окне отображается структурный каталог вашего сайта. После первого запуска программы папкой сайта по умолчанию является папка, где установлена программа Page Promoter. Чтобы указать программе расположение вашего сайта, установите переключатель на нужную опцию - FTP или Локально. При этом программа проверит, указаны ли необходимые данные в настройках, и при их отсутствии предложит заполнить их. Если корневая папка сайта установлена правильно, вы увидите ее файловое и каталожное дерево. Можно развернуть узел каталога, нажав Можно отменить выделение папок нажав Чтобы выбрать папки, которые вы хотите оставить непроиндексированными, проделайте следующее:
Внимание: если вы хотите применить одинаковые правила для всех роботов, убедитесь, что отмечен пункт *(All Spiders), в противном случае ограничения будут применены только для выбранного робота (то есть того, что отмечен курсором) Можно запретить доступ к файлам определенного расширения. Нажмите При нажатии В появившемся окне отображается содержимое файла Смотрите в Интернете: Стандарт исключения роботов | |||||||||||