Robots для livestreet 2.0.1

В общем наткнулся на такую проблему, отправляю посты на индексацию через sitemap яндексу и гуглу. Яндекс индексирует нормально. Гугл больше половины постов игнорит (Отправлено 12, проиндексировано 4). Проверил, действительно в гугле нет некоторых топиков, а в яндексе всё отлично. Думаю дело в robots.txt.

Читать дальше →

Нектороые пожелания по системе

Хотелось бы добавить необязательное поле — url для топика, если его нет(null) — то используется ид.

Самое главное — убрать лишнее от ботов(по юзерагенту) — скрипты, внешние ссылки и прочий хлам.

Так же очень хотелось, чтобы раскрыли мощный потенциал системы — в настройках. А то настроек как таковых нет.
Хотелось, чтобы конфиг перенесли в БД, а также увидеть стандартный файл robots.txt

Еще не совсем понял, почему нет html тегов в добавлении ссылки.

Разберемся с robots.txt

Поскольку эта тема ещё не поднималась, решил обсудить ее здесь и развеить в первую очередь свои сомнения, а затем сохранить тему для потомков :)

Итак, для новичков: robots.txt это файл который кладется в корневую папку вашего сайта и служит для дачи указаний поисковым ботам (google, yandex, rambler...), что можно индексировать, а что нет. Если эту опцию не настроить, то могут возникнуть проблемы, допустим пользователь перешел через запрос к вам на сайт, но попал на страницу где есть несколько топиков (страницп блога, страница с тегами...), а ему нужен один конкретный топик, не увидя искомое, может просто покинуть страницу.

Читать дальше →