Посоветуйте, какой лучше граббер для сбора информации у конкурентов
 |
|
27/11/2004
Посоветуйте, какой лучше граббер для сбора информации у конкурентов.
Стоит задача:
Нужно создать базу данных по определенной категории товаров. Такая база есть у конкурентов на интернет магазине.
Каким лучше граббером воспользоваться для сбора информации.
Заранее спасибо.
Стоит задача:
Нужно создать базу данных по определенной категории товаров. Такая база есть у конкурентов на интернет магазине.
Каким лучше граббером воспользоваться для сбора информации.
Заранее спасибо.
|
|
|
27/11/2004
Вы бы еще спросили как проникнуть ночью к ним в офис, зарезать сторожа и украсть компьютер с их базой. Собственно говоря вы это и хотите сделать....
Вас могут посадить.
Вас могут посадить.
|
|
|
27/11/2004
ну посадить его не могут, но спросил он конечно не хило:) Граберов как таковых нету вроде, мы в своё время писали свой суриптик простой и сграбили базу одного большого магазина, она правда что-то не особо потом пригодилась...
|
|
|
28/11/2004
Много занимался подобными задачками. Грабберов универсальных нет и надо писать их под конкретный сайт.
Сливали много сайтов. В основном заказчики маркетинговые агенства.
Сделать его достаточно быстро (1 неделя). Тестирование еще 2 недели с учетом запусков и анализа уже скаченной информации.
Обращайтесь если интересно.
Сливали много сайтов. В основном заказчики маркетинговые агенства.
Сделать его достаточно быстро (1 неделя). Тестирование еще 2 недели с учетом запусков и анализа уже скаченной информации.
Обращайтесь если интересно.
|
|
|
28/11/2004
Сделать его достаточно быстро (1 неделя). Тестирование еще 2 недели с учетом запусков и анализа уже скаченной информации.
---------------
:) Развод и девичья фамилия... Мне иакие грабберы писали за пол-дня и без всякого тестирования.. Раз - и работает...
---------------
:) Развод и девичья фамилия... Мне иакие грабберы писали за пол-дня и без всякого тестирования.. Раз - и работает...
|
|
|
28/11/2004
Согласен...
Ну если например выгрести форум оборота и отсортировать нужные посты, то это меньше чем за час сделать можно.
а если для парсинга текста требуется еще и семантический анализатор, то это работа может быть и на пол года.
Весь вопрос в самой задаче.
Например делали ситему, которая вводит в гугл поисковую фразу или слово, потом выгребает результаты поиска и начинает выгребать данные из самих сайтов. Анализирует текст, рейтингует его по своей системе и складывает в базу.
Далее пришлось еще и делать динамическую корректировку запросов в гугл в зависимости от полученных результатов.
Это был заказ от информационного агенства. Так вот самое сложное в этом был семантический анализатор и тестирование. Так как тестирование и налаживание семантализа проводилась исключительно вручную. Правда позже написали визуальную тулзу для укорения проверки результатов.
Вообще эта тема интресна как с точки зрения науки так и реальной прикладной части (бизнес).
Фактически это создание собственных поисковиков, но заточенных под твою конкретную деятельность.
Кстати интересно было бы пообсуждать развитие таких систем в будущем.
Ну если например выгрести форум оборота и отсортировать нужные посты, то это меньше чем за час сделать можно.
а если для парсинга текста требуется еще и семантический анализатор, то это работа может быть и на пол года.
Весь вопрос в самой задаче.
Например делали ситему, которая вводит в гугл поисковую фразу или слово, потом выгребает результаты поиска и начинает выгребать данные из самих сайтов. Анализирует текст, рейтингует его по своей системе и складывает в базу.
Далее пришлось еще и делать динамическую корректировку запросов в гугл в зависимости от полученных результатов.
Это был заказ от информационного агенства. Так вот самое сложное в этом был семантический анализатор и тестирование. Так как тестирование и налаживание семантализа проводилась исключительно вручную. Правда позже написали визуальную тулзу для укорения проверки результатов.
Вообще эта тема интресна как с точки зрения науки так и реальной прикладной части (бизнес).
Фактически это создание собственных поисковиков, но заточенных под твою конкретную деятельность.
Кстати интересно было бы пообсуждать развитие таких систем в будущем.
|
|
|
28/11/2004
оторая вводит в гугл поисковую фразу или слово, потом выгребает результаты поиска и начинает выгребать данные из самих сайтов. Анализирует текст, рейтингует его по своей системе и складывает в базу.
--------------
Снимаю шляпуЮ пареньЮ Если ты такие штуки делаешь... Мыльника мне, я тебя работкой-то пригружу, спать некогда будет...
--------------
Снимаю шляпуЮ пареньЮ Если ты такие штуки делаешь... Мыльника мне, я тебя работкой-то пригружу, спать некогда будет...
|
|
|
29/11/2004
Напишите, пожалуйста, Ваш e-mail. (to php-it)
|
|
|
29/11/2004
:) А ты что не на майдане, паренёк?! Или что ли зря америкосы Ющенке бабки платят? :)
|
|
|
29/11/2004
Америкосы или не Америкосы, но эти бабки кто-то же должен зарабатывать... :)
|
|
|
30/11/2004
to Василий
А выкупить данные у хозяина не пробовали? Везде начинаются новогодние распрдажи!!!
Может выйти дешевле...
А выкупить данные у хозяина не пробовали? Везде начинаются новогодние распрдажи!!!
Может выйти дешевле...
Форум закрыт. Написание сообщений ограничено
