(12 янв 2013, 17:50) (1/0)
[1]
Файл robots.txt размещается в корневой
директории сайта и описывает исключения для
поисковых ботов. Придерживающийся стандартов
бот проверяет сначала url \"/robots.txt\", если файл
существует, то бот анализирует его содержимое на
предмет наличия запретов к посещению
определённых частей сайта. Имя файла не должно
содержать заглавных букв. Записи в файле
разделяются одной или несколькими пустыми
строками. Комментарии в файле robots.txt
начинаются знаком “#” и заканчиваются
окончанием строки (строки, содержащие только
комментарии игнорируются ботами и не являются
разделителями записей).
Значения
User-agent
Имя бота, к которому применяются правила
исключений на сайте. Можно прописать несколько
строк с User-agent, в этом случае правила,
описанные в данной записи будут применяться
указанными ботами. Для описывания правил ботам,
для которых отдельная запись не составлена
применяют следующий параметр: «*» (в файле
robots.txt может быть только одна запись User-
agent: *).
Disallow
В данном поле прописывается полный или
частичный путь к месту на сайте, посещение
которого запрещено для бота. В каждой записи
должно присутствовать как минимум одно поле
Disallow. Пустое поле Disallow подразумевает
разрешение боту посещать все директории и
файлы сайта. Не допускается использование в
данном поле регулярных выражений и символов
подстановки.
Примеры для http://site.ru/
(Показывает как можно сочетать директивы в
файле robots.txt но не несущий смысловой нагрузки)
Код:
User-agent: Yandex
Disallow: /test/
Disallow: /print.html
# Запрещает ботам Яндекса посещать папку http://
site.ru/test/
# и файл http://site.ru/print.html
User-agent: Aport
User-agent: Googlebot
Disallow: /temp/img/
# Запрещает посещение ботами Google и Апорт
http://site.ru/temp/img/
User-agent: StackRambler
Disallow:
# Для бота поисковой системы Рамблер разрешено
посещение всех
# страниц и папок сайта
User-Agent: *
Disallow: /lesson.php?action=test
# Запрещает посещение всеми ботами, для
которых не сделана
#отдельная запись,
# динамических страниц, начинающихся с http://
site.ru/lesson.php?action=test
# например: http://site.ru/lesson.php?action=test&id=13
# чувствительно к порядку переменных в ссылке
директории сайта и описывает исключения для
поисковых ботов. Придерживающийся стандартов
бот проверяет сначала url \"/robots.txt\", если файл
существует, то бот анализирует его содержимое на
предмет наличия запретов к посещению
определённых частей сайта. Имя файла не должно
содержать заглавных букв. Записи в файле
разделяются одной или несколькими пустыми
строками. Комментарии в файле robots.txt
начинаются знаком “#” и заканчиваются
окончанием строки (строки, содержащие только
комментарии игнорируются ботами и не являются
разделителями записей).
Значения
User-agent
Имя бота, к которому применяются правила
исключений на сайте. Можно прописать несколько
строк с User-agent, в этом случае правила,
описанные в данной записи будут применяться
указанными ботами. Для описывания правил ботам,
для которых отдельная запись не составлена
применяют следующий параметр: «*» (в файле
robots.txt может быть только одна запись User-
agent: *).
Disallow
В данном поле прописывается полный или
частичный путь к месту на сайте, посещение
которого запрещено для бота. В каждой записи
должно присутствовать как минимум одно поле
Disallow. Пустое поле Disallow подразумевает
разрешение боту посещать все директории и
файлы сайта. Не допускается использование в
данном поле регулярных выражений и символов
подстановки.
Примеры для http://site.ru/
(Показывает как можно сочетать директивы в
файле robots.txt но не несущий смысловой нагрузки)
Код:
User-agent: Yandex
Disallow: /test/
Disallow: /print.html
# Запрещает ботам Яндекса посещать папку http://
site.ru/test/
# и файл http://site.ru/print.html
User-agent: Aport
User-agent: Googlebot
Disallow: /temp/img/
# Запрещает посещение ботами Google и Апорт
http://site.ru/temp/img/
User-agent: StackRambler
Disallow:
# Для бота поисковой системы Рамблер разрешено
посещение всех
# страниц и папок сайта
User-Agent: *
Disallow: /lesson.php?action=test
# Запрещает посещение всеми ботами, для
которых не сделана
#отдельная запись,
# динамических страниц, начинающихся с http://
site.ru/lesson.php?action=test
# например: http://site.ru/lesson.php?action=test&id=13
# чувствительно к порядку переменных в ссылке
- 1 из 1
