 |
|
12/07/2016
Вот на форуме есть топик, где спрашивают, как наполнить товарами интернет магазин, а ведь большинство крупных магазинов для наполнения используют парсеры. В двух словах, что такое парсер и как он работает. Парсер это специальная программа, имеющая встроенную базу данных. В парсер загружается прайс-лист поставщика, далее парсер начинает сканировать какой-нибудь сайт, например, Яндекс Маркет производя лингвистический анализ товаров, сравнивая товары поставщика и товары, которые есть на Яндекс Маркете. Товары, которые парсер смог идентифицировать на Яндекс Маркете он также сохраняет в свою базу и потом их из парсера можно выгрузить на сайт интернет магазина. Парсить можно не только Яндекс Маркет, но, например, Маилру Товары или Ozon.
Что из минусов, из-за большого количества описаний сходных с описаниями Яндекс-Маркета сайт интернет магазина может не только быть пессимизирован в поиске Яндекса, но может полностью из него вылететь. Но как показывает опыт, через пару лет такой сайт опять возвращается в поиск и даже может набрать в нём позиции. Ещё один минус заключается в том, что парсер может неправильно идентифицировать некоторые товары и тогда в карточке товара от телевизора будет описание от сковородки, но это бывает редко.
Так как реклама на форуме запрещена, то вероятно модератор будет удалять посты разработчиков парсеров, поэтому хотелось бы, чтобы магазины, которые используют парсеры в своей работе, написали о своём опыте. Хотя хотелось бы услышать также голос начинающих разработчиков парсеров, так как они, как правило, ещё не очень зажрались и оказывают хорошую техподдержку.
Вопрос не праздный, выбираем парсер.
Что из минусов, из-за большого количества описаний сходных с описаниями Яндекс-Маркета сайт интернет магазина может не только быть пессимизирован в поиске Яндекса, но может полностью из него вылететь. Но как показывает опыт, через пару лет такой сайт опять возвращается в поиск и даже может набрать в нём позиции. Ещё один минус заключается в том, что парсер может неправильно идентифицировать некоторые товары и тогда в карточке товара от телевизора будет описание от сковородки, но это бывает редко.
Так как реклама на форуме запрещена, то вероятно модератор будет удалять посты разработчиков парсеров, поэтому хотелось бы, чтобы магазины, которые используют парсеры в своей работе, написали о своём опыте. Хотя хотелось бы услышать также голос начинающих разработчиков парсеров, так как они, как правило, ещё не очень зажрались и оказывают хорошую техподдержку.
Вопрос не праздный, выбираем парсер.
 |
Андрей С.
Торговля (Одежда, обувь, аксессуары, мини-компания) |
12/07/2016
Присоединюсь к теме, может кто посоветует: а есть ли парсер для сбора отзывов по товарам ?
И не только с каталогов, но и непосредственно с сайтов магазинов (Wildberries, Lamoda, Ozon, Ulmart, On-line Trade, Citilink и т.д.)
Вроде задача должна быть не очень сложной, у всех же микроразметка стоит и можно считывать все прямо как с базы данных.
И второй вопрос связанный с первым - а кто то из этих парсеров с биржами копирайтинга случайно уже не интегрирован ?
Ибо тупо копировать отзывы может быть полезно для клиентов, но вредно с точки зрения пессимизации от поисковика за дубли контента, а вот если отобранные прогнать через биржу рерайта - у них вроде есть API для таких целей...
А может и даже на полуавтомате каком то (скажем контакты, фио можно менять на лету, эпитеты и прилагательные тоже по базе синонимов менять без проблем - смысл не изменится, а уникальность появится...
И не только с каталогов, но и непосредственно с сайтов магазинов (Wildberries, Lamoda, Ozon, Ulmart, On-line Trade, Citilink и т.д.)
Вроде задача должна быть не очень сложной, у всех же микроразметка стоит и можно считывать все прямо как с базы данных.
И второй вопрос связанный с первым - а кто то из этих парсеров с биржами копирайтинга случайно уже не интегрирован ?
Ибо тупо копировать отзывы может быть полезно для клиентов, но вредно с точки зрения пессимизации от поисковика за дубли контента, а вот если отобранные прогнать через биржу рерайта - у них вроде есть API для таких целей...
А может и даже на полуавтомате каком то (скажем контакты, фио можно менять на лету, эпитеты и прилагательные тоже по базе синонимов менять без проблем - смысл не изменится, а уникальность появится...
|
|
|
12/07/2016
anstrem, неплохой парсер Content Creator elbuz, но техподдержка плохая, они сделали её платной - 100$ в месяц и всё равно хрен чего добьёшся. Хотя если в штате есть IT-шник, который может уделить этому достаточно времени, тогда возможно это вариант.
 |
Сергей А.
Торговля (Взаимоотношения с клиентами, мини-компания) |
12/07/2016
qualified:
Хотя хотелось бы услышать также голос начинающих разработчиков парсеров, так как они, как правило, ещё не очень зажрались и оказывают хорошую техподдержку.
Хотя хотелось бы услышать также голос начинающих разработчиков парсеров, так как они, как правило, ещё не очень зажрались и оказывают хорошую техподдержку.
qualified:
поэтому хотелось бы, чтобы магазины, которые используют парсеры в своей работе, написали о своём опыте.
поэтому хотелось бы, чтобы магазины, которые используют парсеры в своей работе, написали о своём опыте.
В прошлом месяце как раз искали возможные решения для своих вопросов и смотрели много вариантов.
Один из наиболее интересных вариантов который мы нашли был Web Crawling Framework Scrapy. Вообще он open source. Но у них есть и коммерческая версия с веб интерфейсом и в облаке, кому интересно найдете, ссылку не буду давать.
|
|
|
12/07/2016
sergey@priceva.ru, спасибо, посмотрю.
 |
|
12/07/2016
qualified:
anstrem, неплохой парсер Content Creator elbuz, но техподдержка плохая
anstrem, неплохой парсер Content Creator elbuz, но техподдержка плохая
С Elbuz имел дело очень плотно. Для моих задач он не подошел полностью, т. к. привязан к маркетплейсам. Пробовал пару дорогих зарубежных с GUI - также разочаровался. Остановил выбор на X1 Downloader. Не притязательный интерфейс, но подробная вики + видеоинструкции для распространенных задач. Полностью я его так и не освоил, не взирая на наличие лицензии
просто обращаюсь к рекомендованным "настройщикам" с форума/сайта - они делают профили быстрее меня и сравнительно недорого.
|
|
|
12/07/2016
aml, спасибо, тоже посмотрю.
 |
|
01/09/2016
Всем привет. А мы остановили свой выбор на фирме Партия, сейчас на стадии подписания договора. С ними кто имел дело?
 |
|
01/09/2016
я бы переиначил вопрос - а можно ли спарсить с сайта товары без ведома владельца?
скажем, нужно запустить похожий сайт.
кто знает?
а то парсера как то нашел, он сказал, что нужны доступы
скажем, нужно запустить похожий сайт.
кто знает?
а то парсера как то нашел, он сказал, что нужны доступы
 |
|
19/01/2017
qualified:
неплохой парсер Content Creator elbuz, но техподдержка плохая, они сделали её платной - 100$ в месяц и всё равно хрен чего добьёшся. Хотя если в штате есть IT-шник, который может уделить этому достаточно времени, тогда возможно это вариант.
неплохой парсер Content Creator elbuz, но техподдержка плохая, они сделали её платной - 100$ в месяц и всё равно хрен чего добьёшся. Хотя если в штате есть IT-шник, который может уделить этому достаточно времени, тогда возможно это вариант.
- не стоит связываться. поддержка никакая, причем что бы ответили еще и заплатить придется. куплен более года назад - проблем больше чем результатов.
|
|
|
19/01/2017
т.е. ребята продают продукт (программу), но за поддержку простят отдельные деньги, при этом оплата никак не гарантирует решение вопроса - просто тебе ответят )
 |
|
20/01/2017
Сейчас популярны парсеры в виде онлайн сервисов, но это вряд ли можно считать оптимальным решением для наполнения контентом своего сайта, постараюсь объяснить почему.
Технически, на уровне кода программы, для каждого сайта который нужно парсить должен быть написан отдельный кусок кода, конкретно под этот сайт. Онлайн сервисы имеют программные модули для парсинга популярных сервисов, таких как авито, но если Вы хотите парсить данные с некого менее известного сайта (например с зарубежного) - программистам сервиса придется дописывать код конкретно под этот сайт.
Более оптимальным вариантом является заказ парсеров в виде скриптов, в таком случае у вас будет программа созданная конкретно под ваши нужды, уже настроенная и готовая к использованию, а стоимость таких решений как правило ниже годов подписки на онлайн сервисы. Обращайтесь, если есть вопросы по данной тематике.
Технически, на уровне кода программы, для каждого сайта который нужно парсить должен быть написан отдельный кусок кода, конкретно под этот сайт. Онлайн сервисы имеют программные модули для парсинга популярных сервисов, таких как авито, но если Вы хотите парсить данные с некого менее известного сайта (например с зарубежного) - программистам сервиса придется дописывать код конкретно под этот сайт.
Более оптимальным вариантом является заказ парсеров в виде скриптов, в таком случае у вас будет программа созданная конкретно под ваши нужды, уже настроенная и готовая к использованию, а стоимость таких решений как правило ниже годов подписки на онлайн сервисы. Обращайтесь, если есть вопросы по данной тематике.
 |
|
20/01/2017
barakuda:
я бы переиначил вопрос - а можно ли спарсить с сайта товары без ведома владельца?
скажем, нужно запустить похожий сайт.
я бы переиначил вопрос - а можно ли спарсить с сайта товары без ведома владельца?
скажем, нужно запустить похожий сайт.
я вам больше скажу... можно ничего не парсить, а сделать так, что на вашем ресурсе будет меняться инфа сразу же, как она поменяется у "донора".
|
|
|
20/01/2017
abramoff:
Сейчас популярны парсеры в виде онлайн сервисов, но это вряд ли можно считать оптимальным решением для наполнения контентом своего сайта, постараюсь объяснить почему.
Сейчас популярны парсеры в виде онлайн сервисов, но это вряд ли можно считать оптимальным решением для наполнения контентом своего сайта, постараюсь объяснить почему.
+1 в репу за компетентность.
И добавлю - всем страждущим могу порекомендовать офигительный сервис. Пользуюсь сам и не перестану рекомендовать другим
цена копейки - выхлоп киловатты)
|
|
|
20/01/2017
krasnaya mechta:
И добавлю - всем страждущим могу порекомендовать офигительный сервис. Пользуюсь сам и не перестану рекомендовать другим
цена копейки - выхлоп киловатты)
И добавлю - всем страждущим могу порекомендовать офигительный сервис. Пользуюсь сам и не перестану рекомендовать другим
цена копейки - выхлоп киловатты)
Напишите, пожалуйста, мне в личку. Хотя, наверное, и здесь можно, так как пишет представитель магазина, вероятно это не будет считаться, как реклама.
Ответить
