Так что должно быть robots.txt версии LS 1.01
Прочитал все топики данного блога и так и не нашел ответ на свой вопрос: что должно быть robots.txt версии LS 1.01?
Я имею в виду какие каталоги сайта должны быть закрыты Disallow, а какие нет.
Это очень важная тема, так как можно вообще закрыть сайт от поисковиков.
Я вот на своем сайте www.infowind.ru сделал robots.txt, но хочу узнать ваше мнение прав как мне его заполнить.
Так же посоветуйте, как защитить каталоги сайта от постороннего вхождения (htaccess или еще каким способом)?
Я имею в виду какие каталоги сайта должны быть закрыты Disallow, а какие нет.
Это очень важная тема, так как можно вообще закрыть сайт от поисковиков.
Я вот на своем сайте www.infowind.ru сделал robots.txt, но хочу узнать ваше мнение прав как мне его заполнить.
Так же посоветуйте, как защитить каталоги сайта от постороннего вхождения (htaccess или еще каким способом)?