подписка
Подписаться
Главная Форум Ведение бизнеса Автоматизация

Мониторинг цен конкурентов

Подписка на RSS
proext
16/10/2015
Коллеги, добрый день.

Кто как мониторит цены на аналогичный товар у конкурентов? Интересует именно автоматизация.

Объясню к чему вопрос: в свое время держал магазин, остались рабочие варианты скриптов, которыми мы "следили за конкурентами"... Выкидывать жаль, думаю оформить как веб-сервис...

Вообщем, щупаю почву...
Скопировать ссылку на сообщение
Ответить
Евгений М.
Торговля (мини-компания)
20/11/2015
Так а других средств кроме парсинга страниц и обработки результатов нет. А через веб-сервис это не так просто делать. Как только владельцы ИМ видят в метрике что их сайт прессует какой то робот, его адрес сразу попадает в стоп-листы или другой бан. И на этом все заканчивается. Сам такое делал для одного заказчика.
Скопировать ссылку на сообщение
Ответить
kysovue
17/12/2015
Многие использую РРЦ поставщиков и дилеров. Есть готовые онлайн площадки для мониторинга, ты туда список товаров, а они тебе цены.
Скопировать ссылку на сообщение
Ответить
sergeysalnikov
23/12/2015
proext:

Объясню к чему вопрос: в свое время держал магазин, остались рабочие варианты скриптов, которыми мы "следили за конкурентами"... Выкидывать жаль, думаю оформить как веб-сервис...

Вообщем, щупаю почву...

Не думаю что делать веб-сервис хорошая затея. Маленькие компании не очень любят платить, а большие уже имеют подобные сервисы. Думаю, гораздо круче и гораздо более заточенные под конкретные бизнес-процессы у себя.

Мы под себя разрабатывали подобные сервисы. Штука очень полезная, но сугубо индивидуальная. Большие проблемы возникают когда нужно парсить много товаров и в очень ограниченный период времени.


Евгений М.:

Как только владельцы ИМ видят в метрике что их сайт прессует какой то робот, его адрес сразу попадает в стоп-листы или другой бан. И на этом все заканчивается. Сам такое делал для одного заказчика.


Одним роботом это не парсится. Мы парсили большим пулом с уникальными айпишниками (несколько сотен), и парсили в основном яндекс.маркет и аналогичные прайсагрегаторные площадки. Робот косил под поведение пользователя как мог. Маркет иногда банил часть роботов.

Также парсили некоторые сайты конкурентов, но там все значительно проще, вычислить робота было нереально. Ни одного бана не было со стороны магазинов за несколько лет.
Скопировать ссылку на сообщение
Ответить
Mikich
30/12/2015
sergeysalnikov:

Одним роботом это не парсится. Мы парсили большим пулом с уникальными айпишниками (несколько сотен), и парсили в основном яндекс.маркет и аналогичные прайсагрегаторные площадки. Робот косил под поведение пользователя как мог. Маркет иногда банил часть роботов.

Также парсили некоторые сайты конкурентов, но там все значительно проще, вычислить робота было нереально. Ни одного бана не было со стороны магазинов за несколько лет.


С какой частой робот отправлял запросы на площадки? Как косил под реальных пользователей? Пользуемся Content Downloader, сайты магазинов конкурентов парсит хорошо и складывает все в базу mysql, а с прайс-площадками туговато, там защита и надзор гораздо сильнее.
Скопировать ссылку на сообщение
Ответить
sergeysalnikov
02/01/2016
Mikich:

С какой частой робот отправлял запросы на площадки? Как косил под реальных пользователей? Пользуемся Content Downloader, сайты магазинов конкурентов парсит хорошо и складывает все в базу mysql, а с прайс-площадками туговато, там защита и надзор гораздо сильнее.

С любой указанной частотой. Маркет парсится (если не изменяет память) постоянно. Боты наплывают друг за дружкой и парсят десятки страниц за раз, если это необходимо.

Посмотрел демонстрационное видео от ПО - Content Downloader, думаю для парсинга прайс-площадок он не подходит. Я.Маркет забанит быстро.

У нас свое ПО, которое под нужды ИМ пишется... Точный алгоритм закоса не расскажу, его программисты пишут.
Скопировать ссылку на сообщение
Ответить
Артем А.
B2B-услуги (небольшая компания)
31/03/2016
Давайте объединяться. Вы парсите, мы парсим (заказываем мониторинг цен). В результате нагрузка на сервера ИМ растет и они ставят защиту. Если бы парсил кто-то один (ну один не получится, ну два-три крупных), а потом за копейки раздавал информацию.
Скопировать ссылку на сообщение
Ответить
YAPepel
14/04/2016
harg:

Давайте объединяться. Вы парсите, мы парсим (заказываем мониторинг цен). В результате нагрузка на сервера ИМ растет и они ставят защиту. Если бы парсил кто-то один (ну один не получится, ну два-три крупных), а потом за копейки раздавал информацию.

Многие так и делают. Постоянно попадаются жалобы, что онлайн-сервисы для работы с прайсами которые за вас рассчитывают ваши цены - потом сливают вашу внутреннюю информацию конкурентам или как сырье для аналитики крупным компаниям.
Скопировать ссылку на сообщение
Ответить
Артем А.
B2B-услуги (небольшая компания)
02/05/2016
Нет, я про другое. Просто покупать прайс в нужном формате. А с этими прайсами внутри мы сами разберемся.

Нашли компанию, которая просто скидывает данные ежедневно на ftp, в месяц получается по стоимости совсем еренду
Скопировать ссылку на сообщение
Ответить
YAPepel
06/05/2016
harg:

Нашли компанию, которая просто скидывает данные ежедневно на ftp, в месяц получается по стоимости совсем еренду

Что выходит по деньгам и какие сайты они парсят?
Скопировать ссылку на сообщение
Ответить
Артем А.
B2B-услуги (небольшая компания)
06/05/2016
У нас выходит 600-700 руб. в месяц. Получается 100 руб. - компания, каждый день. Какие вообще делают не знаю. Мы свой список отправили они по нему делают.
Скопировать ссылку на сообщение
Ответить
YAPepel
06/05/2016
harg:

У нас выходит 600-700 руб. в месяц. Получается 100 руб. - компания, каждый день. Какие вообще делают не знаю. Мы свой список отправили они по нему делают.

То есть, вы отправили им список 6-7 сайтов, а в ответ за 700 руб./мес. они ежедневно присылают вам актуальный прайс конкурента? Интересно что это за компания.
Скопировать ссылку на сообщение
Ответить
Артем А.
B2B-услуги (небольшая компания)
14/05/2016
Пишите в личку, я Вам контакты дам.
Скопировать ссылку на сообщение
Ответить
YAPepel
26/05/2016
harg:

Пишите в личку, я Вам контакты дам.

Отписался, но вы не ответили.
Скопировать ссылку на сообщение
Ответить
a473229
30/07/2016
Берем сайты и парсим.
Вытаскиваем товары с ценами.Но есть проблема товары могут называться немного по-разному...те 100%-го результата не будет.
Скопировать ссылку на сообщение
Ответить
Ответить
Разделы форума
Открытие бизнеса
Привлечение клиентов
Удержание клиентов
Ведение бизнеса
Работа с маркетплейсами
Тенденции развития
Специальные форумы