Недавно столкнулся с проблемой: роботы поисковиков индексировали на моём сайте страницы зарегистрированных пользователей, а не новости или конкретные категории. Естесственно стал копаться в и-нете, но ничего конкретного по этому вопросу я не нашел, пришлось разобраться самому, как же правельно надо писать этот robots.txt для DLE...
Внимание! У вас нет прав, для просмотра скрытого текста.
Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь. Мы рекомендуем Вам зарегистрироваться либо войти на сайт под своим именем.
буду на выходных составлять для своего второго сайта
)))) сделай, а то роботы - глуповато структуру сайта исследуют, и вечно лезут куда не нужно...
Да, и еще забыл добавить, что я тестил этот файл на нескольких поисковиках: таких как Google и т.п. и он отлично проходит тест на правильность написания, так что можете смело использовать как исходный материал для своих сайтов!
Спсибо! До этого мне было тяжело понять структуру этого файла... Скажите, этот файл помогает продвижению индексируемости страниц, или нужно делать карту сайта? Автору респект! Жду статью о карте сайта для поисковиков (Яша) для DLE.
