Форум
Читайте нас также:

об электронной торговле - для интернет-магазинов и ритейла. портал и сообщество

Форум

Посоветуйте, какой лучше граббер для сбора информации у конкурентов



Ссылка на сообщение


Посоветуйте, какой лучше граббер для сбора информации у конкурентов.



Стоит задача:

Нужно создать базу данных по определенной категории товаров. Такая база есть у конкурентов на интернет магазине.



Каким лучше граббером воспользоваться для сбора информации.



Заранее спасибо.



Ссылка на сообщение


Вы бы еще спросили как проникнуть ночью к ним в офис, зарезать сторожа и украсть компьютер с их базой. Собственно говоря вы это и хотите сделать....

Вас могут посадить.



Ссылка на сообщение


ну посадить его не могут, но спросил он конечно не хило:) Граберов как таковых нету вроде, мы в своё время писали свой суриптик простой и сграбили базу одного большого магазина, она правда что-то не особо потом пригодилась...



Ссылка на сообщение


Много занимался подобными задачками. Грабберов универсальных нет и надо писать их под конкретный сайт.



Сливали много сайтов. В основном заказчики маркетинговые агенства.



Сделать его достаточно быстро (1 неделя). Тестирование еще 2 недели с учетом запусков и анализа уже скаченной информации.



Обращайтесь если интересно.



Ссылка на сообщение


Сделать его достаточно быстро (1 неделя). Тестирование еще 2 недели с учетом запусков и анализа уже скаченной информации.

---------------

:) Развод и девичья фамилия... Мне иакие грабберы писали за пол-дня и без всякого тестирования.. Раз - и работает...



Ссылка на сообщение


Согласен...

Ну если например выгрести форум оборота и отсортировать нужные посты, то это меньше чем за час сделать можно.



а если для парсинга текста требуется еще и семантический анализатор, то это работа может быть и на пол года.



Весь вопрос в самой задаче.



Например делали ситему, которая вводит в гугл поисковую фразу или слово, потом выгребает результаты поиска и начинает выгребать данные из самих сайтов. Анализирует текст, рейтингует его по своей системе и складывает в базу.

Далее пришлось еще и делать динамическую корректировку запросов в гугл в зависимости от полученных результатов.



Это был заказ от информационного агенства. Так вот самое сложное в этом был семантический анализатор и тестирование. Так как тестирование и налаживание семантализа проводилась исключительно вручную. Правда позже написали визуальную тулзу для укорения проверки результатов.



Вообще эта тема интресна как с точки зрения науки так и реальной прикладной части (бизнес).

Фактически это создание собственных поисковиков, но заточенных под твою конкретную деятельность.



Кстати интересно было бы пообсуждать развитие таких систем в будущем.



Ссылка на сообщение


оторая вводит в гугл поисковую фразу или слово, потом выгребает результаты поиска и начинает выгребать данные из самих сайтов. Анализирует текст, рейтингует его по своей системе и складывает в базу.

--------------

Снимаю шляпуЮ пареньЮ Если ты такие штуки делаешь... Мыльника мне, я тебя работкой-то пригружу, спать некогда будет...



Ссылка на сообщение


Напишите, пожалуйста, Ваш e-mail. (to php-it)



Ссылка на сообщение


Сюда можно мне написать



php_it@ua.fm



Ссылка на сообщение


:) А ты что не на майдане, паренёк?! Или что ли зря америкосы Ющенке бабки платят? :)



Ссылка на сообщение


Америкосы или не Америкосы, но эти бабки кто-то же должен зарабатывать... :)



Ссылка на сообщение


to Василий



А выкупить данные у хозяина не пробовали? Везде начинаются новогодние распрдажи!!!

Может выйти дешевле...






Ответить


Форум закрыт. Написание сообщений ограничено





2001 - 2018 © Оборот.ру. Все права защищены