Fazail™, ну так для начала нужно вообще понять, что закрывать, а что нет. Закрывать нужно пользовательские комментарии, все дубли страниц, служебные папки всякие

Fazail™, чтобы роботы проиндексировали всё - да. Но индексация всего может очень понизить позиции в выдаче, а то и вовсе отправить сайт под фильтры

robots создан для того, чтобы указать, что НЕ индексировать поисковикам