Индексация от яндекс по тэгам

Вопросы
Я сейчас может задам тупой вопрос, но я его задам…
Сайту месяц. Яндекс проиндексировал все топики что были написаны, но при поиске, в выдаче, показывает страницы с тэгами. То есть все тэги что были написаны к топикам так или иначе в выдаче яндекса, но сами топики с ключевиками, заголовками и пр. в выдаче отсутствуют. Гугл же ищет сами топики и находит. В чем может быть причина?

7 комментариев

avatar
1. в файл robots.txt добавляем Disallow: /tag/
2. Идём в шаблон пробегаемся по всем файлам .tpl и закрываем все ненужные ссылки от индексации rel=«nofollow».

В выдачи будет гораздо меньше хлама.
avatar
Я свой robots.txt построил вот так:

User-agent: *
Crawl-delay: 2
Disallow: /rss/
Disallow: /search/
Disallow: /stream
Disallow: /people/
Disallow: /blogs/
Disallow: /link/
Disallow: /error/
Disallow: /photoset/
Disallow: /question/
Disallow: /profile/
Disallow: /plugins/
Disallow: /feed/
Disallow: /comments/
Disallow: /settings/
Disallow: /login/
Disallow: /registration/
Disallow: /engine/
Disallow: /language/
Disallow: /ajax/
Disallow: /admin/
Disallow: /tag/
Disallow: /my/
Disallow: /openid_login/
Disallow: /openid_settings/
Disallow: /language/
Disallow: /?force-mobile=on
Disallow: /?force-mobile=off
Disallow: /*.css$
Disallow: /top/?period=*
Disallow: /personal_blog/
Disallow: /blog/good/
Disallow: /blog/*/discussed/
Disallow: /blog/*/users/
Disallow: /blog/*/top/
Disallow: /blog/discussed/
Disallow: /good/
Disallow: /top/

Host: site.ru
Sitemap: site.ru/sitemap.xml
avatar
в роботс есть такая строчка, которая закрывает тэги, я где-то тут брала уже пример, только у меня указано
Disallow: /tag/$
но все равно получается робот яндекса их видит
но ваш ниже гораздо больше, смотрю вы закрыли гораздо больше. Воспользуюсь, если не против
avatar 
Disallow: /tag/$

это означает закрыть ровно "/tag/", но свободный доступ к "/tag/бублики" и т.п.
посмотрите документацию по созданию этого плагина, там же не много инструкций.
вот поэтому и:
но все равно получается робот яндекса их видит
а у коментатора выше все правильно сделано:
Disallow: /tag/
avatar
* посмотрите документацию по созданию этого файла
avatar
яндекс проиндексировал все страницы по ссылкам из блока тегов в сайдбаре, т.к. он располагается выше контента.
можно попробовать полечить…
avatar
спасибо! сейчас свяжусь с автором шаблона, спрошу насчет этих изменений, а то у меня не synio. хотя по параметрам вроде бы подходит
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.