ребят вот такое сообщение получил
Ранее наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует.
Пожалуйста, воспользуйтесь формой проверки. Если сейчас запрет отсутствует, то сайт начнет индексироваться в течение 2 недель, после чего сообщение обновится. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру.
вот сами настройки в ROBOT.TXT
User-agent: *
Disallow: /away.php
Disallow: /*do=feedback
Disallow: /*do=rules
Disallow: /*do=registration
Disallow: /*do=lostpass
Disallow: /*do=users&op=rep*
Disallow: /*do=system_info
Disallow: /*do=search
Disallow: /pm/
Disallow: /online/
Disallow: /*/newtopic/
Crawl-delay: 1
как открыть доступ ботам к форуму
Mark, есть ст которые я хз должны проходить проверку бодом а некоторые не должны)я еще не понял что за что отвечает
User-agent: * / все поисковики
Disallow: / индексировать все
Disallow: /admin / кроме админки
Sitemap: siteru/sitemap / карта сайта
Вот так пропиши
удалить
Disallow: /away.php
Disallow: /*do=feedback
Disallow: /*do=rules
Disallow: /*do=registration
Disallow: /*do=lostpass
Disallow: /*do=users&op=rep*
Disallow: /*do=system_info
Disallow: /*do=search
Disallow: /pm/
Disallow: /online/
Disallow: /*/newtopic/
сюдой вписать роботов ПС
User-agent: *
http://seo.stata.us/tools/robots-txt-builder/index.php
Генерируй сам
это говно. нужно делать на сайте карту с авто обновлением