Форум
Читайте нас также:

об электронной торговле - для интернет-магазинов и ритейла. портал и сообщество

Форум

Сервис по сбору, обработке и обмену информацией



Ссылка на сообщение


Некоторое время назад пришлось решить такую задачу:

Периодически нужно было собирать информацию с группы сайтов. Сайтов около 50, все разные, с большими отличиями в дизайне и структуре. Информация сложная, структурированная, иногда разбросанная по нескольким страницам + необходимость авторизации для доступа к разделам. Возможности договориться с администрацией сайта и получить доступ к интересующей информации напрямую, не было. Так был создан механизм для для сбора и переработки информации в нужный формат, причем достаточно успешный – работает быстро, небольшие изменения в дизайне/ структуре сайта источника на корректности обработки либо не сказуются, либо ошибки устраняются в течении нескольких минут, подключение нового сайта (описание алгоритма обработки и формата полученной информации) в 90% случаев сложности не вызывает.



Пока разработка используется исключительно для внутренних нужд. Вот возникла идея создать на её базе некий сервис по по сбору, обработке и обмену информацией между интернет ресурсами. Вариантов реализации тут много, предложу простой (чтобы было понятно о чем речь):



Клиент сервиса предоставляет

Ресурсы источники (сайты)

Подробное описание интересующей его информации с источников

Формат отчета о собранной информации с источника

Условия обновления отчета (период времени, обновление инфы на источнике, выполнение некоторого условия)

Место доставки отчета

Алгоритм работы с источником (обмен информацией между источником/источниками/сайтом клиента по произвольной схеме)



Принцип работы сервиса

Сбор, обработка и доставка информации с указанных источников в формате удобном клиенту.

Реализация алгоритма работы с источниками, включающий в себя сбор и обработку информации.



Пример:

Есть скажем два сайта, которые хотя построить обмен инфой друг с другом в автоматическом или полуавтоматическом режиме. При обоюдном желании такие интерфейсы строятся легко и суппорт любого сайта с этой задачей быстро справиться. Вот если один из сайтов отказуется идти на контакт с другим, тогда задача становиться на несколько порядков сложнее – нужную инфу приходиться собирать путем скана страниц, а обмен данными будет происходить через интерфейс сайта. Тут я как раз помощь и предлагаю – выполняю эту работу, формирую отчеты мониторинга и предоставляю в пользование удобный клиенту интерфейс.

Хочу услышать мнение местной общественности по таким вопросам:

Насколько востребован этот сервис?

Есть ли что-то похожее?






Ответить


Форум закрыт. Написание сообщений ограничено







2001 - 2019 © Оборот.ру. Все права защищены