Форум
Читайте нас также:

об электронной торговле - для интернет-магазинов и ритейла. портал и сообщество

Форум

Мониторинг цен конкурентов



Ссылка на сообщение


Коллеги, добрый день.

Кто как мониторит цены на аналогичный товар у конкурентов? Интересует именно автоматизация.

Объясню к чему вопрос: в свое время держал магазин, остались рабочие варианты скриптов, которыми мы "следили за конкурентами"... Выкидывать жаль, думаю оформить как веб-сервис...

Вообщем, щупаю почву...



Ссылка на сообщение


Так а других средств кроме парсинга страниц и обработки результатов нет. А через веб-сервис это не так просто делать. Как только владельцы ИМ видят в метрике что их сайт прессует какой то робот, его адрес сразу попадает в стоп-листы или другой бан. И на этом все заканчивается. Сам такое делал для одного заказчика.



Ссылка на сообщение


Многие использую РРЦ поставщиков и дилеров. Есть готовые онлайн площадки для мониторинга, ты туда список товаров, а они тебе цены.



Ссылка на сообщение


proext:

Объясню к чему вопрос: в свое время держал магазин, остались рабочие варианты скриптов, которыми мы "следили за конкурентами"... Выкидывать жаль, думаю оформить как веб-сервис...

Вообщем, щупаю почву...

Не думаю что делать веб-сервис хорошая затея. Маленькие компании не очень любят платить, а большие уже имеют подобные сервисы. Думаю, гораздо круче и гораздо более заточенные под конкретные бизнес-процессы у себя.

Мы под себя разрабатывали подобные сервисы. Штука очень полезная, но сугубо индивидуальная. Большие проблемы возникают когда нужно парсить много товаров и в очень ограниченный период времени.


Евгений М.:

Как только владельцы ИМ видят в метрике что их сайт прессует какой то робот, его адрес сразу попадает в стоп-листы или другой бан. И на этом все заканчивается. Сам такое делал для одного заказчика.


Одним роботом это не парсится. Мы парсили большим пулом с уникальными айпишниками (несколько сотен), и парсили в основном яндекс.маркет и аналогичные прайсагрегаторные площадки. Робот косил под поведение пользователя как мог. Маркет иногда банил часть роботов.

Также парсили некоторые сайты конкурентов, но там все значительно проще, вычислить робота было нереально. Ни одного бана не было со стороны магазинов за несколько лет.



Ссылка на сообщение


sergeysalnikov:

Одним роботом это не парсится. Мы парсили большим пулом с уникальными айпишниками (несколько сотен), и парсили в основном яндекс.маркет и аналогичные прайсагрегаторные площадки. Робот косил под поведение пользователя как мог. Маркет иногда банил часть роботов.

Также парсили некоторые сайты конкурентов, но там все значительно проще, вычислить робота было нереально. Ни одного бана не было со стороны магазинов за несколько лет.


С какой частой робот отправлял запросы на площадки? Как косил под реальных пользователей? Пользуемся Content Downloader, сайты магазинов конкурентов парсит хорошо и складывает все в базу mysql, а с прайс-площадками туговато, там защита и надзор гораздо сильнее.



Ссылка на сообщение


Mikich:

С какой частой робот отправлял запросы на площадки? Как косил под реальных пользователей? Пользуемся Content Downloader, сайты магазинов конкурентов парсит хорошо и складывает все в базу mysql, а с прайс-площадками туговато, там защита и надзор гораздо сильнее.

С любой указанной частотой. Маркет парсится (если не изменяет память) постоянно. Боты наплывают друг за дружкой и парсят десятки страниц за раз, если это необходимо.

Посмотрел демонстрационное видео от ПО - Content Downloader, думаю для парсинга прайс-площадок он не подходит. Я.Маркет забанит быстро.

У нас свое ПО, которое под нужды ИМ пишется... Точный алгоритм закоса не расскажу, его программисты пишут.



Ссылка на сообщение


Давайте объединяться. Вы парсите, мы парсим (заказываем мониторинг цен). В результате нагрузка на сервера ИМ растет и они ставят защиту. Если бы парсил кто-то один (ну один не получится, ну два-три крупных), а потом за копейки раздавал информацию.



Ссылка на сообщение


harg:

Давайте объединяться. Вы парсите, мы парсим (заказываем мониторинг цен). В результате нагрузка на сервера ИМ растет и они ставят защиту. Если бы парсил кто-то один (ну один не получится, ну два-три крупных), а потом за копейки раздавал информацию.

Многие так и делают. Постоянно попадаются жалобы, что онлайн-сервисы для работы с прайсами которые за вас рассчитывают ваши цены - потом сливают вашу внутреннюю информацию конкурентам или как сырье для аналитики крупным компаниям.



Ссылка на сообщение


Нет, я про другое. Просто покупать прайс в нужном формате. А с этими прайсами внутри мы сами разберемся.

Нашли компанию, которая просто скидывает данные ежедневно на ftp, в месяц получается по стоимости совсем еренду



Ссылка на сообщение


harg:

Нашли компанию, которая просто скидывает данные ежедневно на ftp, в месяц получается по стоимости совсем еренду

Что выходит по деньгам и какие сайты они парсят?



Ссылка на сообщение


У нас выходит 600-700 руб. в месяц. Получается 100 руб. - компания, каждый день. Какие вообще делают не знаю. Мы свой список отправили они по нему делают.



Ссылка на сообщение


harg:

У нас выходит 600-700 руб. в месяц. Получается 100 руб. - компания, каждый день. Какие вообще делают не знаю. Мы свой список отправили они по нему делают.

То есть, вы отправили им список 6-7 сайтов, а в ответ за 700 руб./мес. они ежедневно присылают вам актуальный прайс конкурента? Интересно что это за компания.



Ссылка на сообщение


Пишите в личку, я Вам контакты дам.



Ссылка на сообщение


harg:

Пишите в личку, я Вам контакты дам.

Отписался, но вы не ответили.



Ссылка на сообщение


Берем сайты и парсим.
Вытаскиваем товары с ценами.Но есть проблема товары могут называться немного по-разному...те 100%-го результата не будет.






Ответить


:D
:)
:(
:o
:shock:
:?
8)
:lol:
:x
:P
:oops:
:cry:
:evil:
:twisted:
:roll:
:wink:
:!:
:?:
:idea:
:arrow:
:|
:mrgreen:





2001 - 2018 © Оборот.ру. Все права защищены