robots.txt для Livestreet

Блог им. Xeocz
Самый оптимальный вариант для Livestreet проверенно!!!
User-agent: Yandex
Crawl-delay: 2
Disallow: /search/
Disallow: /js/
Disallow: /css/
Disallow: /special/
Host: ваш домен
User-agent: Googlebot
Crawl-delay: 2
Disallow: /search/
Disallow: /js/
Disallow: /css/
Disallow: /special/
Host: ваш домен

User-agent: Slurp
Crawl-delay: 8
Disallow: /search/
Disallow: /js/
Disallow: /css/
Disallow: /special/
Host: ваш домен

User-agent: *
Crawl-delay: 10
Disallow: /special/
Disallow: /js/
Host: ваш домен

10 комментариев

avatar
И реально работает?
avatar
Ну, в смысле как надо?
avatar
Это уже зависит от ботов.
avatar
Тут как минимум не хватает /rss/*
avatar
РСС не нужно индексировать?
avatar
что скажут проффи?
avatar
Да все работает и нормально индексирует!
avatar
На данном сайте следующий robots.txt

User-agent: Yandex
Disallow: /rss
Disallow: /search/
Host: livestreet.ru
Crawl-delay: 0.3

User-agent: *
Disallow: /rss
Disallow: /search/
Crawl-delay: 0.5
avatar
Чем меньше тем круче?
avatar
User-agent: Yandex
Disallow: /people
Disallow: /blogs
Disallow: /tags
Disallow: /tag
Disallow: /top
Disallow: /comments
Disallow: /talk
Disallow: /search
Disallow: /classes
Disallow: /config
Disallow: /include
Disallow: /logs
Disallow: /templates
Disallow: /rss
Disallow: /my
Disallow: /stream
Disallow: /index/$
Disallow: /blog/*/$

User-agent: *
Disallow: /people
Disallow: /blogs
Disallow: /tags
Disallow: /tag
Disallow: /top
Disallow: /comments
Disallow: /talk
Disallow: /search
Disallow: /classes
Disallow: /config
Disallow: /include
Disallow: /logs
Disallow: /templates
Disallow: /rss
Disallow: /my
Disallow: /stream
Disallow: /index/$
Disallow: /blog/*/$
Host: site.ru

Sitemap: site.ru/sitemap.xml
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.