Так что должно быть robots.txt версии LS 1.01

Оптимизация и продвижение
Прочитал все топики данного блога и так и не нашел ответ на свой вопрос: что должно быть robots.txt версии LS 1.01?

Я имею в виду какие каталоги сайта должны быть закрыты Disallow, а какие нет.

Это очень важная тема, так как можно вообще закрыть сайт от поисковиков.

Я вот на своем сайте www.infowind.ru сделал robots.txt, но хочу узнать ваше мнение прав как мне его заполнить.

Так же посоветуйте, как защитить каталоги сайта от постороннего вхождения (htaccess или еще каким способом)?

19 комментариев

avatar
livestreet.ru/blog/seo/13579.html
avatar
это касается LS 1.01., а как же доступ к папкам config, engine,templates и т.д или это не имеет значение. Закрываются только теги, поисковые запросы и.т.д все то что вы указали в вашем посте.
avatar
Закрытие доступа к техническим файлам это дело HTTP сервера (т.е. apache, nginx или что там у вас) и не имеет отношение к robots.txt, так как закрывать надо ото всех а не только от поисковиков. Инсталляция LS содержит нужные .htaccess для apache изначально, плагины — как правило тоже.

В случае nginx (если apache нет вообще) поможет такое:
location ~ \.(tpl|xml|log)$ {deny all; access_log off; log_not_found off; }
avatar
да зачем он нужен вообще, и так у LS два года проходит пока его поисковики сканить начнут…
avatar
Ну тут Вы сильно не правы, сайт на LS достаточно шустро в индексы влетает. Может просто контент надо путный делать…
avatar
шустро не шустро, он не правильно его выводит, даже не понятной структуры.
avatar
Пардон, но это полная чушь, у меня все индексируется шустро и правильно. Может я что-то делаю не так? ))
avatar
Может быть правильно. Я не знаю. Я уже запарился тут объяснять что так а что не так. Говорю вам как пользователь ls 1 год. Не нравится мне его выдача в поисковиках. Всякие блог.имени такого сякого, не понятные ссылки какие то.
avatar
Не выдача, а как будто спам какой то.

avatar
если не нравится так, попробуйте закрыть теги от индексации
avatar
вот как должно быть…

avatar
чтобы Google хорошо выводил, то нужно чтобы meta тег description был грамотно заполнен, я к примеру вышел из этой ситуации путем создания своего description для страниц топиков
avatar
Как сделать так, чтобы при поиске твоего сайта выводилась такая структура?

avatar
никак. сам гугл решает это на основе своих алгоритмов
avatar
Попасть в ТОП-1 )
Поисковик выдаёт наиболее посещаемые страницы так называемые «быстрые ссылки»).
avatar
Моя соц сеть на phpfox запросто выводит такую схему…
avatar
Ссылку можно?
avatar
у меня тоже проиндексировался шустро и теперь по некоторым позициям на первых позициях
avatar
аналогично, хотя сайтом занимаюсь буквально последний месяц, хотя использую пингатор, но правда не выяснил работает ли он? =) плюс плагин сайт мап, адекватную статистику с гугл аналитикс не получается получить, вероятно сам что-то не то делаю, хотя гугл глубже яндекса индексирует страницы, я индексом яндекса вообще проблем нет. Иногда даже в рамблере что-то всплывает)
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.