 |
|
16/10/2015
Коллеги, добрый день.
Кто как мониторит цены на аналогичный товар у конкурентов? Интересует именно автоматизация.
Объясню к чему вопрос: в свое время держал магазин, остались рабочие варианты скриптов, которыми мы "следили за конкурентами"... Выкидывать жаль, думаю оформить как веб-сервис...
Вообщем, щупаю почву...
Кто как мониторит цены на аналогичный товар у конкурентов? Интересует именно автоматизация.
Объясню к чему вопрос: в свое время держал магазин, остались рабочие варианты скриптов, которыми мы "следили за конкурентами"... Выкидывать жаль, думаю оформить как веб-сервис...
Вообщем, щупаю почву...
 |
Евгений М.
Торговля (мини-компания) |
20/11/2015
Так а других средств кроме парсинга страниц и обработки результатов нет. А через веб-сервис это не так просто делать. Как только владельцы ИМ видят в метрике что их сайт прессует какой то робот, его адрес сразу попадает в стоп-листы или другой бан. И на этом все заканчивается. Сам такое делал для одного заказчика.
 |
|
17/12/2015
Многие использую РРЦ поставщиков и дилеров. Есть готовые онлайн площадки для мониторинга, ты туда список товаров, а они тебе цены.
 |
|
23/12/2015
proext:
Объясню к чему вопрос: в свое время держал магазин, остались рабочие варианты скриптов, которыми мы "следили за конкурентами"... Выкидывать жаль, думаю оформить как веб-сервис...
Вообщем, щупаю почву...
Объясню к чему вопрос: в свое время держал магазин, остались рабочие варианты скриптов, которыми мы "следили за конкурентами"... Выкидывать жаль, думаю оформить как веб-сервис...
Вообщем, щупаю почву...
Не думаю что делать веб-сервис хорошая затея. Маленькие компании не очень любят платить, а большие уже имеют подобные сервисы. Думаю, гораздо круче и гораздо более заточенные под конкретные бизнес-процессы у себя.
Мы под себя разрабатывали подобные сервисы. Штука очень полезная, но сугубо индивидуальная. Большие проблемы возникают когда нужно парсить много товаров и в очень ограниченный период времени.
Евгений М.:
Как только владельцы ИМ видят в метрике что их сайт прессует какой то робот, его адрес сразу попадает в стоп-листы или другой бан. И на этом все заканчивается. Сам такое делал для одного заказчика.
Как только владельцы ИМ видят в метрике что их сайт прессует какой то робот, его адрес сразу попадает в стоп-листы или другой бан. И на этом все заканчивается. Сам такое делал для одного заказчика.
Одним роботом это не парсится. Мы парсили большим пулом с уникальными айпишниками (несколько сотен), и парсили в основном яндекс.маркет и аналогичные прайсагрегаторные площадки. Робот косил под поведение пользователя как мог. Маркет иногда банил часть роботов.
Также парсили некоторые сайты конкурентов, но там все значительно проще, вычислить робота было нереально. Ни одного бана не было со стороны магазинов за несколько лет.
 |
|
30/12/2015
sergeysalnikov:
Одним роботом это не парсится. Мы парсили большим пулом с уникальными айпишниками (несколько сотен), и парсили в основном яндекс.маркет и аналогичные прайсагрегаторные площадки. Робот косил под поведение пользователя как мог. Маркет иногда банил часть роботов.
Также парсили некоторые сайты конкурентов, но там все значительно проще, вычислить робота было нереально. Ни одного бана не было со стороны магазинов за несколько лет.
Одним роботом это не парсится. Мы парсили большим пулом с уникальными айпишниками (несколько сотен), и парсили в основном яндекс.маркет и аналогичные прайсагрегаторные площадки. Робот косил под поведение пользователя как мог. Маркет иногда банил часть роботов.
Также парсили некоторые сайты конкурентов, но там все значительно проще, вычислить робота было нереально. Ни одного бана не было со стороны магазинов за несколько лет.
С какой частой робот отправлял запросы на площадки? Как косил под реальных пользователей? Пользуемся Content Downloader, сайты магазинов конкурентов парсит хорошо и складывает все в базу mysql, а с прайс-площадками туговато, там защита и надзор гораздо сильнее.
|
|
|
02/01/2016
Mikich:
С какой частой робот отправлял запросы на площадки? Как косил под реальных пользователей? Пользуемся Content Downloader, сайты магазинов конкурентов парсит хорошо и складывает все в базу mysql, а с прайс-площадками туговато, там защита и надзор гораздо сильнее.
С какой частой робот отправлял запросы на площадки? Как косил под реальных пользователей? Пользуемся Content Downloader, сайты магазинов конкурентов парсит хорошо и складывает все в базу mysql, а с прайс-площадками туговато, там защита и надзор гораздо сильнее.
С любой указанной частотой. Маркет парсится (если не изменяет память) постоянно. Боты наплывают друг за дружкой и парсят десятки страниц за раз, если это необходимо.
Посмотрел демонстрационное видео от ПО - Content Downloader, думаю для парсинга прайс-площадок он не подходит. Я.Маркет забанит быстро.
У нас свое ПО, которое под нужды ИМ пишется... Точный алгоритм закоса не расскажу, его программисты пишут.
 |
Артем А.
B2B-услуги (небольшая компания) |
31/03/2016
Давайте объединяться. Вы парсите, мы парсим (заказываем мониторинг цен). В результате нагрузка на сервера ИМ растет и они ставят защиту. Если бы парсил кто-то один (ну один не получится, ну два-три крупных), а потом за копейки раздавал информацию.
 |
|
14/04/2016
harg:
Давайте объединяться. Вы парсите, мы парсим (заказываем мониторинг цен). В результате нагрузка на сервера ИМ растет и они ставят защиту. Если бы парсил кто-то один (ну один не получится, ну два-три крупных), а потом за копейки раздавал информацию.
Давайте объединяться. Вы парсите, мы парсим (заказываем мониторинг цен). В результате нагрузка на сервера ИМ растет и они ставят защиту. Если бы парсил кто-то один (ну один не получится, ну два-три крупных), а потом за копейки раздавал информацию.
Многие так и делают. Постоянно попадаются жалобы, что онлайн-сервисы для работы с прайсами которые за вас рассчитывают ваши цены - потом сливают вашу внутреннюю информацию конкурентам или как сырье для аналитики крупным компаниям.
|
|
Артем А.
B2B-услуги (небольшая компания) |
02/05/2016
Нет, я про другое. Просто покупать прайс в нужном формате. А с этими прайсами внутри мы сами разберемся.
Нашли компанию, которая просто скидывает данные ежедневно на ftp, в месяц получается по стоимости совсем еренду
Нашли компанию, которая просто скидывает данные ежедневно на ftp, в месяц получается по стоимости совсем еренду
|
|
|
06/05/2016
harg:
Нашли компанию, которая просто скидывает данные ежедневно на ftp, в месяц получается по стоимости совсем еренду
Нашли компанию, которая просто скидывает данные ежедневно на ftp, в месяц получается по стоимости совсем еренду
Что выходит по деньгам и какие сайты они парсят?
|
|
Артем А.
B2B-услуги (небольшая компания) |
06/05/2016
У нас выходит 600-700 руб. в месяц. Получается 100 руб. - компания, каждый день. Какие вообще делают не знаю. Мы свой список отправили они по нему делают.
|
|
|
06/05/2016
harg:
У нас выходит 600-700 руб. в месяц. Получается 100 руб. - компания, каждый день. Какие вообще делают не знаю. Мы свой список отправили они по нему делают.
У нас выходит 600-700 руб. в месяц. Получается 100 руб. - компания, каждый день. Какие вообще делают не знаю. Мы свой список отправили они по нему делают.
То есть, вы отправили им список 6-7 сайтов, а в ответ за 700 руб./мес. они ежедневно присылают вам актуальный прайс конкурента? Интересно что это за компания.
|
|
|
26/05/2016
harg:
Пишите в личку, я Вам контакты дам.
Пишите в личку, я Вам контакты дам.
Отписался, но вы не ответили.
 |
|
30/07/2016
Берем сайты и парсим.
Вытаскиваем товары с ценами.Но есть проблема товары могут называться немного по-разному...те 100%-го результата не будет.
Вытаскиваем товары с ценами.Но есть проблема товары могут называться немного по-разному...те 100%-го результата не будет.
Ответить
