Подсмотреть за конкурентами

Система мониторинга цен (СМЦ) – тот инструмент, который может обеспечить вам конкурентное преимущество в e-commerce. Без информации о рынке (ценах конкурентов) вы слепы.

Система мониторинга должна уметь собирать данные, обрабатывать, хранить и представлять информацию в удобном для пользователя виде. На выходе мы получаем достоверную картину рынка, основанную на актуальных и полных данных.

Сегодня я расскажу, как строится система отслеживания цен.

Сбор данных

Это самый важный элемент. Прежде чем браться за разработку системы, надо решить, откуда будут поступать данные и какой метод сбора будет использован. Ответы помогут определить примерные затраты на автоматизацию данного процесса.

Источниками данных могут служить прайс-агрегаторы и сайты интернет-магазинов (об этом – ниже). И в том, и в другом случае ручной сбор информации работает лишь для небольших интернет-магазинов, которые скорее напоминают хобби, нежели реальный бизнес.

Более распространенным решением является программа-парсер плюс специалист для обработки данных. Это эффективно в тех случаях, когда интернет-магазин торгует в довольно спокойном товарном сегменте, которому не свойственны внезапные скачки или сезонные колебания цен. Здесь достаточно сверять цены с рынком один-два раза в месяц, чтобы корректировать свою стратегию ценообразования.

Полностью автоматизированное решение необходимо интернет-гипермаркетам, магазинам с большим ассортиментом и множеством товарных категорий, а также средним и даже небольшим магазинам, которые работают в высококонкурентной среде, где актуальные данные требуются каждый день, если не каждый час. В таких случаях своевременная оптимизация цен и выбор стратегии ценообразования "на лету" становятся серьезным конкурентным преимуществом.

Теперь подробнее о выборе источника данных.

Прайс-площадки (агрегаторы)

Это самый простой и сравнительно недорогой источник информации о ценах интернет-магазинов. Некоторые из них даже представляют API для работы с данными, но обычно интеграция с ними имеет ряд ограничений:

• На каждой площадке доступны только те данные, которые предоставили интернет-магазины. К примеру, крупные ритейлеры работают с прайс-площадками далеко не по всем товарным категориям, и по плавающему проценту ассортимента. Также с этими данными тяжело объективно оценивать наличие товаров у конкурентов и их специальные предложения, так как прайс-площадки могут и не обладать информацией об промо-акциях, проводимых магазином.
• Непрозрачный регламент обновления цен: прайс-площадка имеет свой график обновлений, что существенно снижает уровень доверия к результатам, например, в ситуациях со скачками курса валюты.
• Если работа ведется не через API площадки, то как правило, внешние «высокочастотные» запросы будут блокироваться, и нужно придумывать, как обойти эти блокировки.
• Даже при работе через API есть ограничения по скорости и количеству запросов. Например, у API Яндекс.Маркета это – до 8 запросов в секунду. То есть чтобы собрать информацию о ценах на 5 000 товаров у 10 магазинов, нужно послать порядка 50 000 запросов. В итоге более 1 часа уйдет только на сбор данных.

Сбор данных через посредника (прайс-площадку) выбирают магазины с небольшим ассортиментом и низкой частотой изменения цен. Также этот подход удобен для товарных категорий со сравнительно редкой переоценкой товаров, таких как: сад огород, все для дома, мебель, канцелярия, hi–fi акустика и др.

Преимущества:

• низкая стоимость реализации;
• иногда предлагается API для работы;
• упрощен процесс сопоставления товаров.

Недостатки:

• данные отстают по времени;
• для подключения API может потребоваться подключение к сервису;
• зависимость от работы API агрегатора и его политики предоставления информации по API. 

Сбор данных непосредственно с сайтов интернет-магазинов

Данные, полученные напрямую от интернет-магазинов, максимально точны и достоверны. Это те цены, которые видит покупатель. Но построение и поддержка инфраструктуры для сбора информации напрямую из многих источников требует серьезных технических возможностей, особенно если речь идет о высокочастотном сборе данных.

Важнейший вопрос, который требуется решать постоянно – это сопоставление вашей товарной матрицы с предложениями конкурентов. При работе с прайс-площадками этот вопрос в некоторых случаях решается путем относительного сопоставления (зная ссылку на свою карточку на прайс-агрегаторе, можно сопоставить свою цену с ценами других магазинов на этой карточке). При работе напрямую с магазинами необходимо самостоятельно (вручную или автоматически) сопоставлять товары и цены. Этот процесс довольно трудоемкий, и добиться достаточного качества и скорости можно лишь при наличии выделенных ресурсов.

Здесь следует отметить, что "искусственный интеллект" для парсинга – сбора всей информации о цене, ассортименте и акциях – это пока еще скорее миф, чем реальность. Интернет-магазины имеют разную структуру каталогов, верстки, способы предоставления информации об акциях и наличии товара. Поэтому механизмы сбора информации приходится адаптировать под каждый из её источников.

Решение по сбору информации напрямую из источников, как правило, выбирают магазины с плотной конкурентной средой и динамически изменяющимся рынком. Этот подход практически лишен всех минусов работы с прайс-агрегаторами, но содержит ряд технических трудностей.

Преимущества:

• отсутствие зависимости от политики прайс-агрегаторов и их API;
• высокое качество данных и частота обновлений по сравнению с альтернативными решениями;
• возможность мониторинга ассортимента, акций и других данных в зависимости от конфигурации системы.

 Недостатки:

• сложность реализации самого решения;
• высокая стоимость поддержки;
• сложность сопоставления товарных матриц.

Автоматизированная система мониторинга цен должна быть спроектирована таким образом, чтобы не заставлять конечных пользователей заглядывать "под капот". Важный аспект в связи с этим – регламентированный сбор и хранение данных по выбранному расписанию, без необходимости запускать процесс вручную.

В зависимости от выбранного решения, понадобится как минимум один-два специалиста на полную или частичную занятость для сопровождения сбора информации и поддержки работы операторов, адаптации под изменения и противодействия блокировкам.

Представление информации

Заключительный аспект, который следует рассмотреть при проектировании СМЦ, – как будут представлены данные конечным пользователям? Здесь возникает вопрос, насколько данные о рынке и ежедневная переоценка критичны для данного сегмента рынка. Образно выражаясь, из точки А в точку Б можно попасть пешком, а можно прилететь чартерным рейсом, вопрос только в целесообразности затраченных ресурсов по отношению к полученному результату. Поэтому важно оценить достаточный и необходимый уровень визуализации и анализа данных. Например, если ассортимент магазина невелик и достаточно получать по e–mail консолидированные отчеты в виде XLS таблиц, эту задачу смогут решить штатные программисты. Если же необходима интеграция с 1С (или другой ERP), тогда потребуется привлечение внешних ресурсов.

В любом случае понадобится организовать небольшую команду программистов для проектирования, разработки, и тестирования СМЦ, если:

• требуется очень гибкая СМЦ для комфортной работы категорийных менеджеров, руководителей магазина, отдела закупки и маркетологов;
• работа ведется в высококонкурентной нише;
• необходима высокая частота обновления цен;
• ведется ежедневная работы с большими массивами информации;
• выстраивается отчетность на разных уровнях товарной матрицы.

Реализация собственной системы мониторинга цен и ее поддержка – это процесс, который требует постоянного внимания, значительных затрат времени и финансовых средств. Эффективная СМЦ в зависимости от ниши и специфики представления данных может быть реализована как одним-двумя разработчиками, так и командой из 5-7 человек. Также иногда придется привлекать других сотрудников магазина или подрядчиков для сопоставления товаров.