как начинали поисковики?
 |
|
03/01/2006
Точнее, где они брали контент? Вот этот вопрос, как ни странно, я почему-то пропустил...
Понятно, что в поисковых системах можно регистрировать сайты, но все те миллионы сайтов и документов, которыми поисковики оперируют, навряд ли зарегистрированы там владельцами сайтов. Может, поисковые роботы шарят по хост серверам и добавляют себе новые сайты автоматически, без ведома их владельцев?
Разъясните кто знает, плиз.
Понятно, что в поисковых системах можно регистрировать сайты, но все те миллионы сайтов и документов, которыми поисковики оперируют, навряд ли зарегистрированы там владельцами сайтов. Может, поисковые роботы шарят по хост серверам и добавляют себе новые сайты автоматически, без ведома их владельцев?
Разъясните кто знает, плиз.
|
|
|
03/01/2006
Просто интересно а зачем вам это ?
А по сути. Если вы будете кликать только по этому сайту
вы найдете ссылки на сотни сайтов с них на тысячи. Вот так и роботы находят сайты.
А по сути. Если вы будете кликать только по этому сайту
вы найдете ссылки на сотни сайтов с них на тысячи. Вот так и роботы находят сайты.
|
|
|
04/01/2006
на searchengines.ru зайди.
|
|
|
04/01/2006
2 Hiller:
спасибо. То есть роботы собирают все в интернете по перекрестным ссылкам, без спросу, образно говоря...
А если я по каким-то причинам не хочу, чтобы мой документ фигурировал в поисковиках? Предположим, что это мой онлайн дневник или финансовый отчет за квартал.
2 Иван:
на минусы мне плевать. Мне вопрос прояснить надо :-)
спасибо. То есть роботы собирают все в интернете по перекрестным ссылкам, без спросу, образно говоря...
А если я по каким-то причинам не хочу, чтобы мой документ фигурировал в поисковиках? Предположим, что это мой онлайн дневник или финансовый отчет за квартал.
2 Иван:
на минусы мне плевать. Мне вопрос прояснить надо :-)
|
|
|
04/01/2006
2 Zhivago
Сделайте доступ к фин/отчету авторизованным. Кстати в инете море серверов и сайтов сидят за этими 401, 403 Status-Code
Сделайте доступ к фин/отчету авторизованным. Кстати в инете море серверов и сайтов сидят за этими 401, 403 Status-Code
|
|
|
04/01/2006
2Zhivago
Для управления поведением поисковых пауков нужно не забывать:
1. Правильно настроить robots.txt
2. Правильно настроить .htaccess
3. Использовать где нужно тэг NOINDEX
Для управления поведением поисковых пауков нужно не забывать:
1. Правильно настроить robots.txt
2. Правильно настроить .htaccess
3. Использовать где нужно тэг NOINDEX
Форум закрыт. Написание сообщений ограничено
последние материалы
16:23
