 |
|
16/04/2004
Вот зашел бот с апорта. Нашел у меня 2848 страниц :), 58МБ как не бывало, а зачем, ничего не изменилось ведь. Если таких 10 поисковиков зайдет, то пол гига только на них надо.
Что-то поисковикам надо делать с этим полнотекстовым поиском. Ну различать как-то, что это страницы динамические, можно и пореже туда заглядывать.
Яндекс пишет про себя:
>У робота свой график работы и изменить его, к сожалению, невозможно, в том числе применяя такие тэги, как
<META NAME="REVISIT-AFTER" CONTENT=".. DAYS">.
Что-то поисковикам надо делать с этим полнотекстовым поиском. Ну различать как-то, что это страницы динамические, можно и пореже туда заглядывать.
Яндекс пишет про себя:
>У робота свой график работы и изменить его, к сожалению, невозможно, в том числе применяя такие тэги, как
<META NAME="REVISIT-AFTER" CONTENT=".. DAYS">.
|
|
|
16/04/2004
> Perl. Но разве общение с роботом идет на уровне скрипта?
ПА (браузер, робот) делает запрос к серверу. Сервер отдает результаты скрипта. Робот ничем в этом плане не отличается от браузера.
>10.3.5 304 Not Modified :
"the server SHOULD respond with this status code", т.е. сервер должен.
В ситуации со статическими страницами сервер знает дату изменения страницы (файла) и при правильных настройках делает эту работу за вас автоматически. В ситуации с динамическими страницами сервер разумеется ничего не знает о "дате модификации" документа. Он просто вызывает ваш скрипт и отдает контент. Еще раз повторюсь. Если вы формируете страницу скрпиптом, помимо собственно содержимого страницы вы можете управлять хидером. Какая в нем будет дата документа (логика устаревания страниц) - полностью зависит от вас. Т.е. я так понимаю, что нужно смотреть какие возможности есть в Перле для управления заголовком. Далее сформировать его согласно RFC
ПА (браузер, робот) делает запрос к серверу. Сервер отдает результаты скрипта. Робот ничем в этом плане не отличается от браузера.
>10.3.5 304 Not Modified :
"the server SHOULD respond with this status code", т.е. сервер должен.
В ситуации со статическими страницами сервер знает дату изменения страницы (файла) и при правильных настройках делает эту работу за вас автоматически. В ситуации с динамическими страницами сервер разумеется ничего не знает о "дате модификации" документа. Он просто вызывает ваш скрипт и отдает контент. Еще раз повторюсь. Если вы формируете страницу скрпиптом, помимо собственно содержимого страницы вы можете управлять хидером. Какая в нем будет дата документа (логика устаревания страниц) - полностью зависит от вас. Т.е. я так понимаю, что нужно смотреть какие возможности есть в Перле для управления заголовком. Далее сформировать его согласно RFC
|
|
|
16/04/2004
Подскажите, а каким образом можно узнать какой заголовок выдает скрипт на конкретной странице?
Форум закрыт. Написание сообщений ограничено
