как правильно создать файл robots.txt

Купить рекламу

Шины и диски для настоящих боссов дороги;

| | |

Обновить

Тема закрыта!

DESURDE

0.81

[автор] (23 янв 2015, 18:21) [0/0] [0] [спам] [под]

Мужики, подскажите как правильно создать файл robots.txt Меня интересует тег описания сайта для робота. Нарыл в инете одну инфу и не уверен что она правильная. Эта директива правильна?

<meta
name="description"content="Бесплатные
загрузки, сладкая эротика,
развлечения, всё для общения,
совершенно бесплатно">

И вот эта

<meta
name="keywords"content="Скачать
Бесплатно Загрузки WAP Сайт Для
Мобильного Телефона Каталог
Сервисы Информационный Портал
java Программы Игры Библиотека
wenu">

kurama

0.42

(23 янв 2015, 18:22) [0/0] [0] [спам] [под]

это мета теги

NeaDek(WAT)

[мошенник] 0.57

(23 янв 2015, 18:23) [0/0] [0] [спам] [под]

Переименовал тему!

DESURDE

0.81

[автор] (23 янв 2015, 18:24) [0/0] [0] [спам] [под]

kurama,

Ну да, для поискового робота!

Weter

1.01

(23 янв 2015, 18:26) [1/0] [1] [спам] [под]

DESURDE, метатеги должны быть в шапке сайта а не в роботс тхт

Weter

1.01

(23 янв 2015, 18:28) [0/0] [0] [спам] [под]

DESURDE, вот тебе как пример роботс тхт
User-agent: *
Disallow: /files/
Disallow: /images/
Disallow: /theme/
Disallow: /users/
Crawl-delay: 10

User-agent: Yandex
Disallow: /files/
Disallow: /images/
Disallow: /theme/
Disallow: /users/
Crawl-delay: 10
Host: site.ru