Не работает robots.txt (решено)
При переходе по ссылке сайт/robots.txt вместо открытия файла происходит его загрузка на компьютер. Но главная проблема — в яндекс вебмастере при проверке роботс вместо файла подгружается штмл страница. У меня стоит плагин от PSNet для редактирования через веб, если его отключить то по ссылке сайт/robots.txt появляется страница 404 ошибки. В чем причина? я сначала редактировал .htaccess может именно в нем?
11 комментариев
потому что нужно указывать не robots.xml файл, а robots.txt. Яндекс нормально читает, понимает и разбирает этот файл, который отдается плагином.
вам нужно подать robots.txt для анализа. robots.xml у вас нет.
1. возможно вы только включили плагин, а яндекс закешировал отсутствие старого файла у себя (ответ)
2. вы не активировали файл
3. что-то с.хтаксес
4. нажмите кнопку «загрузить роботс.тхт с сайта»