Закрытие одного блога от индексации

Вопросы
Может кому-то вопрос покажется глупым, и при этом не все гуру ливстрита: как закрыть один блог на сайте от поисковых роботов и индексации?

Например блог: livestreet.ru/blog/dev_documentation/

Просто в этом блоге будет публиковаться копипаста, а в остальных копирайт.

Но лучшей подсказкой будет как закрывать отдельные топики от индексации.

5 комментариев

avatar
Загуглите robots noindex
avatar
Не надо noindex.

Просто добавьте правило в robots.txt
Disallow: /blog/dev_documentation/*
  • emmy
  • 0
  • ↓
avatar
Спасибо за помощь!
Получается, чтобы отдельный топик «закрыть», нужно прописать:
Disallow: /nazvanie_topica.html
?
avatar
Ну если он у вас по адресу site.com/nazvanie_topica.html — то да.
avatar
Чтобы было понятнее, вот спецификация о использовании *.

Using the special symbols * and $

You can use special characters * and $, for path specifications for the Allow and Disallow directives, specifying certain regular expressions this way. The * symbol indicates any (including blank) symbol order. Examples:
Disallow: /cgi-bin/*.aspx # dissallow '/cgi-bin/example.aspx'
                          # and '/cgi-bin/private/test.aspx'
Disallow: /*private # disallow both '/private',
                    # and '/cgi-bin/private'
  • emmy
  • 0
  • ↓
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.