Сервис по сбору, обработке и обмену информацией
 |
|
14/07/2005
Некоторое время назад пришлось решить такую задачу:
Периодически нужно было собирать информацию с группы сайтов. Сайтов около 50, все разные, с большими отличиями в дизайне и структуре. Информация сложная, структурированная, иногда разбросанная по нескольким страницам + необходимость авторизации для доступа к разделам. Возможности договориться с администрацией сайта и получить доступ к интересующей информации напрямую, не было. Так был создан механизм для для сбора и переработки информации в нужный формат, причем достаточно успешный – работает быстро, небольшие изменения в дизайне/ структуре сайта источника на корректности обработки либо не сказуются, либо ошибки устраняются в течении нескольких минут, подключение нового сайта (описание алгоритма обработки и формата полученной информации) в 90% случаев сложности не вызывает.
Пока разработка используется исключительно для внутренних нужд. Вот возникла идея создать на её базе некий сервис по по сбору, обработке и обмену информацией между интернет ресурсами. Вариантов реализации тут много, предложу простой (чтобы было понятно о чем речь):
Клиент сервиса предоставляет
Ресурсы источники (сайты)
Подробное описание интересующей его информации с источников
Формат отчета о собранной информации с источника
Условия обновления отчета (период времени, обновление инфы на источнике, выполнение некоторого условия)
Место доставки отчета
Алгоритм работы с источником (обмен информацией между источником/источниками/сайтом клиента по произвольной схеме)
Принцип работы сервиса
Сбор, обработка и доставка информации с указанных источников в формате удобном клиенту.
Реализация алгоритма работы с источниками, включающий в себя сбор и обработку информации.
Пример:
Есть скажем два сайта, которые хотя построить обмен инфой друг с другом в автоматическом или полуавтоматическом режиме. При обоюдном желании такие интерфейсы строятся легко и суппорт любого сайта с этой задачей быстро справиться. Вот если один из сайтов отказуется идти на контакт с другим, тогда задача становиться на несколько порядков сложнее – нужную инфу приходиться собирать путем скана страниц, а обмен данными будет происходить через интерфейс сайта. Тут я как раз помощь и предлагаю – выполняю эту работу, формирую отчеты мониторинга и предоставляю в пользование удобный клиенту интерфейс.
Хочу услышать мнение местной общественности по таким вопросам:
Насколько востребован этот сервис?
Есть ли что-то похожее?
Периодически нужно было собирать информацию с группы сайтов. Сайтов около 50, все разные, с большими отличиями в дизайне и структуре. Информация сложная, структурированная, иногда разбросанная по нескольким страницам + необходимость авторизации для доступа к разделам. Возможности договориться с администрацией сайта и получить доступ к интересующей информации напрямую, не было. Так был создан механизм для для сбора и переработки информации в нужный формат, причем достаточно успешный – работает быстро, небольшие изменения в дизайне/ структуре сайта источника на корректности обработки либо не сказуются, либо ошибки устраняются в течении нескольких минут, подключение нового сайта (описание алгоритма обработки и формата полученной информации) в 90% случаев сложности не вызывает.
Пока разработка используется исключительно для внутренних нужд. Вот возникла идея создать на её базе некий сервис по по сбору, обработке и обмену информацией между интернет ресурсами. Вариантов реализации тут много, предложу простой (чтобы было понятно о чем речь):
Клиент сервиса предоставляет
Ресурсы источники (сайты)
Подробное описание интересующей его информации с источников
Формат отчета о собранной информации с источника
Условия обновления отчета (период времени, обновление инфы на источнике, выполнение некоторого условия)
Место доставки отчета
Алгоритм работы с источником (обмен информацией между источником/источниками/сайтом клиента по произвольной схеме)
Принцип работы сервиса
Сбор, обработка и доставка информации с указанных источников в формате удобном клиенту.
Реализация алгоритма работы с источниками, включающий в себя сбор и обработку информации.
Пример:
Есть скажем два сайта, которые хотя построить обмен инфой друг с другом в автоматическом или полуавтоматическом режиме. При обоюдном желании такие интерфейсы строятся легко и суппорт любого сайта с этой задачей быстро справиться. Вот если один из сайтов отказуется идти на контакт с другим, тогда задача становиться на несколько порядков сложнее – нужную инфу приходиться собирать путем скана страниц, а обмен данными будет происходить через интерфейс сайта. Тут я как раз помощь и предлагаю – выполняю эту работу, формирую отчеты мониторинга и предоставляю в пользование удобный клиенту интерфейс.
Хочу услышать мнение местной общественности по таким вопросам:
Насколько востребован этот сервис?
Есть ли что-то похожее?
Форум закрыт. Написание сообщений ограничено
последние материалы
15:12
