Вот примеры:
sitewap.wml:link
robots.txt:link

С помощью sitemap.xml ты сообщаешь поисковым машинам о страничках своего сайта. А robots.txt создается с целью запретить индексацию поисковиками определенных директорий и страниц.