как начинали поисковики?

Zhivago

03/01/2006

Точнее, где они брали контент? Вот этот вопрос, как ни странно, я почему-то пропустил...

Понятно, что в поисковых системах можно регистрировать сайты, но все те миллионы сайтов и документов, которыми поисковики оперируют, навряд ли зарегистрированы там владельцами сайтов. Может, поисковые роботы шарят по хост серверам и добавляют себе новые сайты автоматически, без ведома их владельцев?

Разъясните кто знает, плиз.

Hiller

03/01/2006

Просто интересно а зачем вам это ?

А по сути. Если вы будете кликать только по этому сайту

вы найдете ссылки на сотни сайтов с них на тысячи. Вот так и роботы находят сайты.

Иван

04/01/2006

на searchengines.ru зайди.

Zhivago

04/01/2006

2 Hiller:

спасибо. То есть роботы собирают все в интернете по перекрестным ссылкам, без спросу, образно говоря...

А если я по каким-то причинам не хочу, чтобы мой документ фигурировал в поисковиках? Предположим, что это мой онлайн дневник или финансовый отчет за квартал.

2 Иван:

на минусы мне плевать. Мне вопрос прояснить надо :-)

Арелав

04/01/2006

2 Zhivago

Сделайте доступ к фин/отчету авторизованным. Кстати в инете море серверов и сайтов сидят за этими 401, 403 Status-Code

СКОРПИОН

04/01/2006

2Zhivago

Для управления поведением поисковых пауков нужно не забывать:

1. Правильно настроить robots.txt

2. Правильно настроить .htaccess

3. Использовать где нужно тэг NOINDEX

Форум закрыт. Написание сообщений ограничено