Админ психанул robots.txt

Блог им. hollywood1
Да именно так. Создал сайт и только закинув его в Гугл вебмастер не ожидал такой быстрой индексации livestreet. B тут полезли в поиске /talk/, /my, /error/ и ещё много чего. Вот и решил кардинально по закрывать лишнее. Так же закрыл
Disallow:/discussed/
Disallow: /question/
Disallow: /link/
Disallow: /top/

Так же думаю не закрыть ли мне /blog. Так как кратное описание статей блогов это по сути дубли контента

Я прав или мне нужно попить успокоительное ))
User-agent: *
Disallow: /rss
Disallow: /search/topics/$
Disallow: /search/opensearch/$
Disallow: /cgi-bin
Disallow: /classes
Disallow: /config
Disallow: /registration/
Disallow: /login/
Disallow: /engine
Disallow: /include
Disallow: /logs
Disallow: /plugins
Disallow: /templates
Disallow: /feed/
Disallow: /admin
Disallow: /webstat
Disallow: /mainpreview/
Disallow: /stream
Disallow: /my/$
Disallow: /tag/$
Disallow: /page/$
Disallow: /topic/$
Disallow: /profile/$
Disallow: /people
Disallow: /subscribe/$
Disallow: /blogs
Disallow: /talk/
Disallow: /error/
Disallow: /subscribe/
Disallow: /settings/$
Disallow: /photoset/$
Disallow: /question/$
Disallow: /discussed/
Disallow: /message/$
Disallow: /question/
Disallow: /link/
Disallow: /top/

User-agent: Yandex
Disallow: /rss
Disallow: /search/topics/$
Disallow: /search/opensearch/$
Disallow: /cgi-bin
Disallow: /classes
Disallow: /config
Disallow: /registration/
Disallow: /login/
Disallow: /engine
Disallow: /include
Disallow: /logs
Disallow: /plugins
Disallow: /templates
Disallow: /feed/
Disallow: /admin
Disallow: /webstat
Disallow: /mainpreview/
Disallow: /stream
Disallow: /my/$
Disallow: /tag/$
Disallow: /page/$
Disallow: /topic/$
Disallow: /profile/$
Disallow: /people
Disallow: /subscribe/$
Disallow: /blogs
Disallow: /talk/
Disallow: /error/
Disallow: /subscribe/
Disallow: /settings/$
Disallow: /photoset/$
Disallow: /question/$
Disallow: /discussed/
Disallow: /message/$
Disallow: /question/
Disallow: /link/
Disallow: /top/
Sitemap: http:site.org/sitemap.xml
Host: site.org

10 комментариев

avatar
что то вообще жёстко психанул )) 
Disallow: /plugins
Disallow: /templates

Это то чем не угодили?
avatar
Да. Гугл вебмастер с какой то балды начал индексировать плагины /mainpreview/ Вот и решил вообще папку /plugins закрыть. И если он такой стал шустрый то не чего ему делать и в шаблонах.
avatar
Все, что нужно
http://livestreetguide.com/robots.txt
Зачем для яндекса дублировать? он адекватный.
avatar
По правилам создания роботс для Яши нужно ( по крайне мере рекомендуют) отдельно прописывать правила. Если Гугл сообразительный то Яша требует прописывать и карту сайта и основной домен в роботс.
Вопрос. Что такое /robotstxt/$
avatar
По правилам создания роботс для Яши нужно ( по крайне мере рекомендуют) отдельно прописывать правила.
где это написано? или это одно из тех фактов, которые никто объяснить не может, но так повелось? если вы подаете в интерфейсе вебмастера яндекса роботс файл и он его валидирует и говорит что «понял» — нет смысла делать доп. секцию для него.
Если Гугл сообразительный то Яша требует прописывать и карту сайта и основной домен в роботс.
это все можно унифицировать и писать для всех и гугла в т.ч. — оно ему не мешает.
Вопрос. Что такое /robotstxt/$
а это закрытие экшена плагина-редактора robots.txt
avatar
У меня не один сайт сделан и на разных движках. Как бы не новичок. Везде привык дублировать потому что раньше так рекомендовали при правильном написании роботс. Даже не задумывался. Сейчас просмотрев инфу понимаю что можно от этого пережитка прошлого и отказаться. Но что значит это?
User-agent: * # не будет использована роботами Яндекса
Disallow: /cgi-bin

Следующим роботам Яндекса можно указать отдельные директивы:

'YandexBot' — основной индексирующий робот;
'YandexMedia' — робот, индексирующий мультимедийные данные;
'YandexImages' — индексатор Яндекс.Картинок;
'YandexCatalog' — «простукивалка» Яндекс.Каталога, используется для временного снятия с публикации недоступных сайтов в Каталоге;

'YaDirectFetcher' — робот Яндекс.Директа, интерпретирует robots.txt особым образом;
'YandexBlogs' — робот поиска по блогам, индексирующий посты и комментарии;
'YandexNews' — робот Яндекс.Новостей;
'YandexPagechecker' — валидатор микроразметки;
‘YandexMetrika’ — робот Яндекс.Метрики;
‘YandexMarket’— робот Яндекс.Маркета;
‘YandexCalendar’ — робот Яндекс.Календаря.

Для каждого из них также действительно правило: если обнаружены директивы для конкретного робота, директивы 'User-agent: Yandex' и 'User-agent: *' не используются.

Пример:

User-agent: YandexBot # будет использоваться только основным индексирующим роботом
Disallow: /*id=
User-agent: Yandex # будет использована всеми роботами Яндекса
Disallow: /*sid= # кроме основного индексирующего
User-agent: * # не будет использована роботами Яндекса
Disallow: /cgi-bin
avatar
А что у вас такое rubrics? Это блоги или какой-то плагин для категорий?
avatar 
Disallow: /rubrics

это блоги
Disallow: /users

люди
Disallow: /developer/

профиль
Disallow: /message/$

почта
avatar
Я не просто так по закрывал: registration, plugins, mainpreview, profile, people. Гугл вебмастер это все проиндексировал.
Закрыл discussed, question, link, top Так как это по сути дубли одного и того же контента.
avatar
это нормально
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.