Некоторые "специалисты " недооценивают влияние файла robots.txt на индексацию  поисковиками , и в общем на монетизацию ресурсов .

Некий товарищ Aaron в своей статье  описал свою ошибку , которая ему чуть не   стоила $10000 .
Он хотел упрятать от гугла контент некоторых своих страниц ,  что бы он не дублировался , на одном домене . Один неправильно поставленный символ в фале robots/txt , и гугл-бот перестал индексировать половину сайта . Посещаемость упала , заработки тоже ,

соответственно .

Так что , проверьте свои файлы robots.txt .

А в следующем топике я приведу несколько примеров .