Админ психанул robots.txt

Да именно так. Создал сайт и только закинув его в Гугл вебмастер не ожидал такой быстрой индексации livestreet. B тут полезли в поиске /talk/, /my, /error/ и ещё много чего. Вот и решил кардинально по закрывать лишнее. Так же закрыл
Disallow:/discussed/
Disallow: /question/
Disallow: /link/
Disallow: /top/

Так же думаю не закрыть ли мне /blog. Так как кратное описание статей блогов это по сути дубли контента

Я прав или мне нужно попить успокоительное ))
User-agent: *
Disallow: /rss
Disallow: /search/topics/$
Disallow: /search/opensearch/$
Disallow: /cgi-bin
Disallow: /classes
Disallow: /config
Disallow: /registration/
Disallow: /login/
Disallow: /engine
Disallow: /include
Disallow: /logs
Disallow: /plugins
Disallow: /templates
Disallow: /feed/
Disallow: /admin
Disallow: /webstat
Disallow: /mainpreview/
Disallow: /stream
Disallow: /my/$
Disallow: /tag/$
Disallow: /page/$
Disallow: /topic/$
Disallow: /profile/$
Disallow: /people
Disallow: /subscribe/$
Disallow: /blogs
Disallow: /talk/
Disallow: /error/
Disallow: /subscribe/
Disallow: /settings/$
Disallow: /photoset/$
Disallow: /question/$
Disallow: /discussed/
Disallow: /message/$
Disallow: /question/
Disallow: /link/
Disallow: /top/

User-agent: Yandex
Disallow: /rss
Disallow: /search/topics/$
Disallow: /search/opensearch/$
Disallow: /cgi-bin
Disallow: /classes
Disallow: /config
Disallow: /registration/
Disallow: /login/
Disallow: /engine
Disallow: /include
Disallow: /logs
Disallow: /plugins
Disallow: /templates
Disallow: /feed/
Disallow: /admin
Disallow: /webstat
Disallow: /mainpreview/
Disallow: /stream
Disallow: /my/$
Disallow: /tag/$
Disallow: /page/$
Disallow: /topic/$
Disallow: /profile/$
Disallow: /people
Disallow: /subscribe/$
Disallow: /blogs
Disallow: /talk/
Disallow: /error/
Disallow: /subscribe/
Disallow: /settings/$
Disallow: /photoset/$
Disallow: /question/$
Disallow: /discussed/
Disallow: /message/$
Disallow: /question/
Disallow: /link/
Disallow: /top/
Sitemap: http:site.org/sitemap.xml
Host: site.org

Не работает robots.txt (решено)

При переходе по ссылке сайт/robots.txt вместо открытия файла происходит его загрузка на компьютер. Но главная проблема — в яндекс вебмастере при проверке роботс вместо файла подгружается штмл страница. У меня стоит плагин от PSNet для редактирования через веб, если его отключить то по ссылке сайт/robots.txt появляется страница 404 ошибки. В чем причина? я сначала редактировал .htaccess может именно в нем?

Так что должно быть robots.txt версии LS 1.01

Прочитал все топики данного блога и так и не нашел ответ на свой вопрос: что должно быть robots.txt версии LS 1.01?

Я имею в виду какие каталоги сайта должны быть закрыты Disallow, а какие нет.

Это очень важная тема, так как можно вообще закрыть сайт от поисковиков.

Я вот на своем сайте www.infowind.ru сделал robots.txt, но хочу узнать ваше мнение прав как мне его заполнить.

Так же посоветуйте, как защитить каталоги сайта от постороннего вхождения (htaccess или еще каким способом)?

Про директиву Disallow из robots.txt

Навеяно яростно обсуждавшейся заметкой господина Znayka .

Disallow из robots.txt ( как и гаубица М-30 ) — самая лучшая и старейшая из систем. SEO, правда, но тоже штука массового поражения. На данный момент, это единственный 100%-ый способ закрыть от всех поисковиков линки на сайте. Ибо rel=«nofollow», то ли вообще не работает, то ли работает оригинальным образом, но точно больше не работает так, как раньше. А noindex принимается во внимание не всеми поисковиками (Яндекс — точно понимает, а Google — точно нет).

Чем опасно? robots.txt — самый высоко приоритетный файл для веб краулеров. Изменения в нём учитываются очень быстро. Одно не верное движение — и N тысяч ваших страниц будут выкинуты из поисковых систем. И очень не скоро вернуться обратно, даже после исправления. Особенно в отношении Яндес верно. Google — он пошустрее.

Читать дальше →

robots.txt для Livestreet

Самый оптимальный вариант для Livestreet проверенно!!!
User-agent: Yandex
Crawl-delay: 2
Disallow: /search/
Disallow: /js/
Disallow: /css/
Disallow: /special/
Host: ваш домен
User-agent: Googlebot
Crawl-delay: 2
Disallow: /search/
Disallow: /js/
Disallow: /css/
Disallow: /special/
Host: ваш домен

User-agent: Slurp
Crawl-delay: 8
Disallow: /search/
Disallow: /js/
Disallow: /css/
Disallow: /special/
Host: ваш домен

User-agent: *
Crawl-delay: 10
Disallow: /special/
Disallow: /js/
Host: ваш домен