Интересный глюк: Google Sitemap Generator + LS 0.4

Поставил на впс Google Sitemap Generator (сокращенно GSG) и столкнулся с интересной проблемой.

GSG добавляет в sitemap.xml 404 страницы.

Пример: запрашиваю браузером файл которого изначально нет, в ответ приходит стандартная 404 заглушка LS'а. Заголовок:
#1 Server Response: http://xxx.ru/404er3.php
HTTP Status Code: HTTP/1.1 404 Not Found
Server: nginx/0.6.32
Date: Sun, 02 May 2010 20:49:02 GMT
Content-Type: text/html; charset=utf-8
Connection: keep-alive
X-Powered-By: PHP/5.2.6-1+lenny8
Set-Cookie: PHPSESSID=b8582e5bc5c0616e134f477706993fa5; path=/
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Vary: Accept-Encoding
Content-Length: 1296


в accesse.log.apache также отмечается:
IP- - [03/May/2010:00:46:40 +0400] "GET /404er3.php HTTP/1.0" 404 1295 "-" "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_3; en-us) AppleWebKit/531.22.7 (KHTML, like Gecko) Version/4.0.5 Safari/531.22.7"

В качестве результата страница 404er3.php оказывается в файле sitemap.xml

Далее интересней…

Читать дальше →