Универсальный парсер интернет-магазинов

Публикация № 922642

Учет и отчетность - Оптовая торговля

37
С того времени, как я начал парсить сайты, прошло много лет. За это время я спарсил более 100 сайтов и записал эти товары в 1С. В итоге на свет появился универсальный парсер, который поможет Вам спарсить интернет-магазин и при этом не написать ни строчки кода.

"Ни строчки кода" - это конечно громко. Но в 80% случаев (когда интернет-магазин отвечает некоторым требованиям) - это будет работать.

Магазины, отвечающие этим требованиям: 

  1. В магазине должны быть категории товаров. Возможно подкатегории, но не обязательно.
  2. В категориях должен быть список товаров с ссылкой на карточку товара.
  3. В карточке товара должна быть вся интересующая Вас информация о товаре.

Такая структура у 90% сайтов. Так почему только 80%? - спросите Вы.

Есть еще некоторые технические моменты, например такие как формирование содержимого страницы через javascript и еще по мелочи. Но на практике я и такие сайты парсил... правда не универсальным парсером и это совсем другая история.

Что умеет Универсальный парсер"?

  1. Парсить  интернет-магазины и записывать эти данные в таблицы обработки (т.е. запись идет не сразу в 1С, а сначала мы видим результат работы в таблицах)
  2. Записывать данные о номенклатуре в 1С. После того как мы убедились в корректности данных - можем записать их в 1С:
    1. Группы и всю иерархию групп
    2. Наименование товара
    3. Цена
    4. Описание
    5. Описание для сайта
    6. Атрибуты (дополнительные реквизиты) с их значениями
    7. Картинки товара
  3. Использовать прокси-сервера. Можно задать списком и установить кол-во запросов на каждый сервер. Когда список серверов кончится - обработка опять проверит все сервера и обнулит счетчик запросов у работающих
  4. Задавать для каждого найденного узла произвольный обработчик.
  5. Сохранять/загружать настройки на любом этапе парсинга
  6. Делать тестовый парсинг (т.е. не весь сайт, а несколько товаров). Это очень полезно на этапе указания начальных настроек.
  7. Делать авторизацию на сайте перед загрузкой.

Универсальный парсер НЕ требует установки дополнительных компонент

Что не умеет или пока не умеет Универсальный парсер?

  1. Парсить характеристики
  2. Парсить несколько цен одного товара.
  3. Распознавать текст с картинок.
  4. Парсить yandex маркет. Тут не совсем правда. Но яндекс маркет надежно защищен от парсинга. Просто оставьте эту затею.

В списке файлов есть еще версия за startmoney. Давайте посмотрим чем они отличаются

Сравнение Универсального парсера.Lite и Универсального парсера

  Универсальный парсер.Lite Универсальный парсер
Парсить и записывать в 1С  + +
Формировать иерархию групп + +
Наименования товаров  + +
Цены  + +
Описания  + +
Делать тестовый парсинг сайта (загрузка только нескольких позиций) + +
Файл описания для сайта    +
Атрибуты товара    +
Картинки товара    +
Авторизация на сайте   +
Работа по протоколу HTTPS   +
Сохранять/загружать настройки и таблицы    +
Использовать прокси-сервера   +

Как он работает?

Для того, чтобы он начал работать - его нужно немного обучить. Для этого нужно воспользоваться селекторами.

У нас есть селекторы групп, товаров, всех вышеуказанных реквизитов товара и селекторы атрибутов.

Для того, чтобы указать селектор - достаточно открыть интересующий нас сайт в браузере Google Chrome, нажать F12 (инструменты разработчика), выбрать интересующий нас элемент и скопировать его селектор. Ниже будет видео как это сделать. При этом не обязательно, но совсем неплохо будет иметь базовые знания HTML.

При необходимости мы можем поменять обработчик узла, который был найден селектором. Это открывает для нас по-настоящему широкие возможности. Обработчик приходится менять не часто, но приходится и чтобы его правильно задать необходим базовый набор знаний в программировании 1С.

Если у Вас нет базовых знаний HTML и/или программирования 1С - советую обратить внимание на версию с начальными настройками. Вы просто скажите какой сайт Вам нужен, а я сделаю файл настроек. Вам останется только нажать несколько кнопок.

А как насчет нажатия всего одной кнопки "Записать в 1С"? Тоже возможно. Для этого будет версия обработки + настройки + заполненные таблицы. Это самый дорогой, но самый верный вариант получить результат. До 4000 товаров. Свыше 4000 - 1 р./товар

Для каких конфигураций подойдет парсер?

Обработка тестировалась на следующих конфигурациях:

  1. УТ 11.3
  2. УТ 11.4
  3. УТ для Белоруси 3.3
  4. КА 2.4
  5. ERP 2.4

Так же может подойти для конфигураций, которые имеют схожую структуру с вышеперечисленными конфигурациями. Как, например, УТ для Белоруси 3.3

Инструкции и обзор обработки

Как проверить, что интернет-магазин можно спарсить?

Тут только экспериментальный путь. Приобретайте обработку. Если парсер не будет парсить интересующий Вас сайт - есть возможность заказать настройки. А ели и настройки не подойдут - 100% гарантия возврата денег.

Можно ли парсить Яндекс Маркет?

Над ним работает целый отдел программистов. Яндекс маркет достаточно хорошо защищен от этого. Начиная с блокировок по IP, специфичной пагинации товаров и заканчивая наименованием категорий в виде картинок. Да и меняют алгоритмы они часто и оперативно. Я бы Вам рекомендовал поискать интернет-магазины на которых есть подавляющее большинство интересующих Вас товаров. Ведь в яндекс маркет товары попадают именно с этих сайтов.

Обсудить и пообщаться на тему универсального парсера можете в комментариях ниже

 

Гарантия возврата денег

ООО "Инфостарт" гарантирует Вам 100% возврат оплаты, если программа не соответствует заявленному функционалу из описания. Деньги можно вернуть в полном объеме, если вы заявите об этом в течение 14-ти дней со дня поступления денег на наш счет.

Программа настолько проверена в работе, что мы с полной уверенностью можем дать такую гарантию. Мы хотим, чтобы все наши покупатели оставались довольны покупкой.

Для возврата оплаты просто свяжитесь с нами.

37


Новый вопрос

E-mail*

Специальные предложения

См. также

Создание документов "Реализация товаров и услуг" и "Приобретение товаров и услуг" на заданную сумму с учетом остатков в конфигурациях "УТ 11.4", "1С:КА 2.4" и "1С:ERP УП 2.4" (расширение конфигурации) 2

Инструменты и обработки Бухгалтер Пользователь Расширение (cfe) v8 v8::ОУ УТ11 Россия БУ УУ Оптовая торговля Учет ТМЦ Платные (руб) Обработка документов

В расширении "Создание документов "Реализация товаров и услуг" и "Приобретение товаров и услуг" на заданную сумму с учетом остатков в конфигурациях "УТ 11.4", "1С:КА 2.4" и "1С:ERP УП 2.4"" реализован дополнительный функционал по созданию документов "Реализация товаров и услуг " и "Приобретение товаров и услуг" на заданную сумму с учетом остатков без снятия конфигурации с поддержки фирмой 1с

4000 руб.

05.09.2019    3931    0       

Перенос данных БП 2.0 => УТ 11 / КА 2 / ERP 2 (перенос остатков, документов и справочников из "1С:Бухгалтерия предприятия 8", ред. 2.0 в "1С:Управление торговлей 8", ред.11 / КА 2 / ERP 2). Обновлено до УТ 11.4.10.х, КА 2.4.10.х, ERP 2.4.10.х! Промо

Перенос позволяет загрузить в УТ 11 / КА 2 / ERP 2 документы за выбранный период, справочную информацию и остатки по счетам бух. учета. Переносятся остатки денежных средств, взаиморасчетов, остатки товаров и материалов на складах. Переносятся девятнадцать основных видов документов за выбранный период и вся нормативно-справочная информация. Есть фильтр по организации. Если нужно переносить что-то дополнительно, то обычно бесплатно дорабатываю правила (перед покупкой согласуйте необходимые доработки).

29700 руб.

HTML-описание номенклатуры: заполнение и выгрузка на сайт Битрикс 3

Инструменты и обработки Программист Пользователь Расширение (cfe) v8 ERP2 УТ11 КА2 УУ Оптовая торговля Розничная торговля Платные (руб) WEB

Расширение предназначено для заполнения html-описаний номенклатуры в 1С и выгрузки этих описаний на сайт Битрикс.

2000 руб.

04.09.2019    3044    16    5       

1СПАРК РИСКИ. Сервис оценки благонадежности контрагентов. Промо

СПАРК помогает предотвратить мошенничество со стороны компаний и предпринимателей, благодаря актуальным сведениям о компаниях и системе выявления факторов риска.Сервис позволяет управлять налоговыми рисками и комплексно оценивать благонадежность контрагентов.

Аналоги номенклатуры для УТ 11.4, КА 2.4, ERP 2.4, Розница 2.2. Расширение 6

Отчеты и формы Пользователь Расширение (cfe) v8 Розница ERP2 УТ11 КА2 Автомобили, автосервисы Оптовая торговля, дистрибуция, логистика Россия УУ Оптовая торговля Розничная торговля Платные (руб) Рабочее место Управление торговлей

Расширение для работы с аналогами номенклатуры. Отлично подходит для работы с кроссами запчастей и товаров с аналогичными свойствами. Поддерживаемые конфигурации: УТ 11.4, КА 2.4, ERP 2.4, Розница 2.2. Лёгкое подключение, без изменения конфигурации.

3500 руб.

30.08.2019    4170    0       

Вакансия Автор новостных обзоров на тему 1С и бухучета, По совместительству Промо

Редакция Infostart.ru будет рада сотрудничеству с 1С-специалистом, умеющим и любящим излагать свои мысли в письменной форме. Если вы работали в IT-изданиях или имеете опыт ведения технологического блога/канала/группы, если сможете сделать обзор обработок из каталога infostart.ru/public/all/, то у вас большое преимущество.

Формирование УПД для документооборота ЭДО с ОЗОН ozon.ru (все типовые конфигурации) 26

Инструменты и обработки Бухгалтер Пользователь Архив с данными v8 УНФ БУ Документооборот и делопроизводство Оптовая торговля Платные (руб) Внешние источники данных

Обработка создает файл xml универсального передаточного документа (далее УПД) или торговой накладной (далее ТОРГ-12) для отправки в ОЗОН (ozon.ru) ©

3000 руб.

24.07.2019    7218    27    74       

Перенос документов и справочников ERP 2 / КА 2 / УТ 11 => БП 3.0 Промо

Перенос позволяет настроить собственный обмен данными между указанными программами, альтернативный предлагаемому фирмой 1С. Предоставляем техподдержку по всем вопросам данного обмена. Можем подключиться к вам удаленно для разбора ситуаций. Оперативно обновляем при выходе новых релизов 1С. Бесплатные обновления в течение полугода.

19700 руб.

Счет на оплату клиенту из Заказа клиента 2

Отчеты и формы Пользователь Внешняя обработка (ert,epf) v8::УФ УТ11 КА2 Россия Оптовая торговля Платные (руб) Печатные формы документов

Переработанная, усовершенствованная Форма Счета на оплату клиенту. Имеет дополнительную информацию по взаимным долгам клиента и продавца, информацию по наличию товара на складе, весу товара, сроках поставки. Убрана лишняя информация из стандартного счета клиенту

2500 руб.

24.07.2019    2639    0       

Подборка решений для взаимодействия со ФГИС «Меркурий» Промо

С 1 июля 2019 года все компании, участвующие в обороте товаров животного происхождения, должны перейти на электронную ветеринарную сертификацию (ЭВС) через ФГИС «Меркурий». Инфостарт предлагает подборку программ, связанных с этим изменением.

Автоматическая загрузка в фоне из EXCEL (номенклатура, цены, остатки) из почты и с сайта 4

Инструменты и обработки Бухгалтер Пользователь Внешняя обработка (ert,epf) v8 v8::ОУ УТ11 Россия УУ Оптовая торговля Розничная торговля Платные (руб) Загрузка и выгрузка в Excel

Обработка для автоматической (в фоне по регламентному заданию) и ручной загрузки номенклатуры, цен и остатков из файлов EXCEL. Автоматическая загрузка возможна из почтового ящика, с ресурса на сайте и из каталога на диске.

2000 руб.

24.06.2019    4040    15    2       

С 2020 года сервис «Продление поддержки конфигурации 1С:УПП» подорожает вдвое Промо

Успейте продлить поддержку УПП до повышения цен! Фирма «1С» предупредила об изменении цен на сервис «Продление поддержки конфигурации "1С:Управление производственным предприятием"». С 1 января 2020 года сервис подорожает в два раза.

Программы для исполнения 488-ФЗ: Маркировка товаров Промо

1 января 2019 года вступил в силу ФЗ от 25.12.2018 № 488-ФЗ о единой информационной системе маркировки товаров с использованием контрольных (идентификационных) знаков, который позволяет проследить движение товара от производителя до конечного потребителя. Инфостарт предлагает подборку программ, связанных с применением 488-ФЗ и маркировкой товаров.

САПП - система слежения за заказами, долгами, резервами, остатками, оборотами и многим другим с возможностью оповещения ответственных в ЛЮБЫХ базах 1С, работающих на платформе 8.3.4+ (Конфигурация, Расширение) 8

Инструменты и обработки no Конфигурация (md, cf) v8 v8::УФ 1cv8.cf Платные (руб) Управление бизнес-процессами (BPM) Анализ учета Управление взаимоотношениями с клиентами (СRM) Дебиторская и кредиторская задолженность Оптовая торговля Розничная торговля Производство Управление торговлей

Данная система создавалась как универсальный механизм широкого спектра действия для анализа и обработки данных баз 1С, под кодовым названием «Система анализа проблем и предложений». Сокращенно – «САПП». Данная система умеет следить практически "за всем", уведомлять об проблемах в работе фирмы ответственных лиц, выполнять в автоматическом режиме все, что можно описать языком 1С и многое другое! Заменяет почти 80% систем для анализа данных в разрезе контрагентов товаров и не только! Имеется видео с демонстрацией части возможностей! Может работать как в составе конфигурации, так и как расширение! Обновление от 19.08.2019, версия 2.0!

19990 руб.

13.06.2019    4632    12    0       

Онлайн-интенсив "Бизнес-процессы для подготовки к экзамену 1С:Специалист по платформе" 12 декабря 2019 г. Промо

На интенсиве будут рассмотрены все теоретические вопросы, связанные с устройством механизма бизнес-процессов – это необходимо для успешной сдачи экзамена 1С:Специалист по платформе. Также, в качестве практического примера, будет решена задача, аналогичная экзаменационной.

777 рублей

Модуль "Путевой лист" для 1С:Бухгалтерия предприятия 8, редакция 3.0 8

Отчеты и формы Бухгалтер Расширение (cfe) v8 v8::БУ БП3.0 Транспорт, автопарки, такси Оптовая торговля, дистрибуция, логистика Россия БУ Оптовая торговля Учет ТМЦ Платные (руб) Бухгалтерия

Документ "Путевой лист автомобиля", печатные формы установленных образцов для легковых и грузовых авто, расчет и списание нормативного количества топлива, отчет "Реестр путевых листов" с отбором по водителю и автомобилю

4000 руб.

03.06.2019    4209    43    0       

Перенос данных КА 1.1 / УПП 1.3 => БП 3.0 (перенос остатков, документов и справочников из "1С:Комплексная автоматизация 1.1" / УПП 1.3 в "1С:Бухгалтерия 3.0"). Обновлен до версий КА 1.1.115.х, УПП 1.3.127.х! Промо

Разработка позволяет перенести остатки по всем счетам бух.учета в программу "1С:Бухгалтерия предприятия 8", ред. 3.0 на выбранную дату начала ведения учета. Также переносятся документы за период и вся необходимая справочная информация. Правила оперативно обновляю при выходе новых релизов. Рассылка обновлений правил бесплатно в течение 12 месяцев. Есть видеодемонстрация проведения переноса данных. Конфигурации при использовании обмена остаются полностью типовыми. Перенос данных возможен в Бухгалтерию 3.0 версии ПРОФ, КОРП или базовую.

24700 руб.

Прибыль от продаж в УТ без закрытия месяца 24

Отчеты и формы Бизнес-аналитик Руководитель проекта Внешний отчет (ert,erf) v8 v8::ОУ v8::СКД УТ11 УУ Оптовая торговля Платные (руб) Управленческие

Данный отчет позволяет сформировать и оценить среднюю прибыль от продаж товаров в УТ 11 без закрытия месяца. Что не возможно сделать типовыми отчетами, т.к. себестоимость товаров рассчитывается только при закрытии месяца. Позволяет быстро и эффективно оценить продажи какого товара приносят большую прибыль для организации, а какой товар менее прибыльный, а может, даже и в убыток торгуется.

1500 руб.

15.05.2019    5238    7       

Анализ рынка труда из "1С:Предприятия" 3

Отчеты и формы no Внешняя обработка (ert,epf) v8 1cv8.cf Кадровые агентства, подбор персонала Зарплата Управление персоналом (HRM) Платные (руб) Разное WEB

Если вы публикуете вакансии или подбираете работу. Узнайте уровень заработных плат, которые предлагают работодатели. Отбирайте вакансии в привычном интерфейсе 1С. Сравнивайте предложения по различным позициям, требованиям, регионам.

1700 руб.

23.04.2019    4053    0       

Новый раздел на Инфостарте - Electronic Software Distribution Промо

Инфостарт напоминает: на нашем сайте можно купить не только ПО, связанное с 1С. В нашем арсенале – ESD-лицензии на ПО от ведущих вендоров: Microsoft, Kaspersky, ESET, Dr.Web, Аскон и другие.

  • Низкие цены, без скрытых платежей и наценок
  • Оперативная отгрузка
  • Возможность оплаты с личного счета (кешбек, обмен стартмани на рубли и т.п.)
  • Покупки идут в накопления для получения скидочных карт лояльности Silver (5%) и Gold (10%)

Быстрый ввод документов в "1С:Бухгалтерия 3.0" 2

Инструменты и обработки Бухгалтер Пользователь Внешняя обработка (ert,epf) v8 v8::БУ БП3.0 БУ Оптовая торговля Производство готовой продукции (работ, услуг) Платные (руб) Обработка документов

Хотите экономить время на операциях ввода однотипных документов? Дополнительная обработка для "1С:Бухгалтерия 3.0" позволит Вам экономить время на создании документов - счет на оплату, реализация товаров услуг, счет-фактура выданный. Групповое создание документов выполняется на основании информации в договорах контрагентов. Обработка группового создания документов подходит для обслуживающих и сервисных компаний таких как - охранные предприятия, службы доставки, бухгалтерское обслуживание, усулуги телекоммуникаций, юридические услуг и т.д. Практика показывает, что время работы сокращается от нескольких дней, до 30 минут.

3000 руб.

24.03.2019    4717    6       

1С:Предприятие через Интернет. 1С:Fresh Промо

Ведение бухгалтерского и налогового учет, сдача отчетности, управление бизнесом из любой точки мира. Привычные программы «1С» через Интернет без приобретения коробочных программ.

Обмен с системой ЦРПТ (Универсальная конфигурация ХамелеонЦРПТ + маркировка табака, обуви, лекарств, света, молока, духов(парфюма) и шин 53

Инструменты и обработки Системный администратор Программист Бухгалтер Пользователь Внешняя обработка (ert,epf) v8 1cv8.cf Розничная и сетевая торговля (FMCG) Оптовая торговля, дистрибуция, логистика Россия БУ УУ Windows Оптовая торговля Розничная торговля Платные (руб) Внешние источники данных

Данная публикация создана для обмена информацией с другими разработчиками и заинтересованными лицами по внедрению маркировки табака, обуви, лекарств, света, молока, духов(парфюма) и шин. Все интересные моменты из обсуждений постараемся систематизировать и отразить в данной публикации. Публикация также будет полезна и для систем маркировок одежды, меховых изделий и пр. В данный момент обсуждается подключение к системе маркировки ПИВА и продуктов питания(при этом ЕГАИС и Меркурий, для такой продукции, отменять не собираются). Появилось решение для табака; света; молока; лекарств; духов(парфюм) и шин. При необходимости мы готовы предложить свою помощь по регистрации в личном кабинете ЦРПТ + Обработка: "Получение максимальной розничной цены и определение EAN13 (EAN8) и определение серии пачки сигарет" работающая на базе 1с 8.3.8 и выше или в режиме совместимости до 8.2.16 А также помощь по выгрузке/загрузке данных в/из GS1. А также помощь по обмену данными с ЛК ЦРПТ(обувь) с нашими настройками, обучением и интеграцией "под ключ".

7000 руб.

18.03.2019    16714    216    19       

Обмен данными с сайтом. БП 3.0 6

Инструменты и обработки Программист Расширение (cfe) v8 v8::БУ БП3.0 Россия БУ Оптовая торговля Розничная торговля Платные (руб) WEB

Обмен данными с сайтом на платформе 1С:Битрикс (и подобными) для 1С: Бухгалтерия предприятия 3.0.

5000 руб.

18.03.2019    4626    9       

Подборка программ для взаимодействия с ЕГАИС Промо

ЕГАИС (Единая государственная автоматизированная информационная система) - автоматизированная система, предназначенная для государственного контроля за объёмом производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции. Инфостарт рекомендует подборку проверенных решений для взаимодействия с системой.

Отчет по продажам и поступлениям в разрезе контрагентов. Конфигурация Управление торговлей, редакции 11.4 4

Отчеты и формы Бизнес-аналитик Внешний отчет (ert,erf) v8 v8::ОУ УТ11 УУ Оптовая торговля Платные (руб) Управленческие

Для базовой версии программы отчет формируется по проведенным документам Ввод остатков, "Поступление (акт, накладная)", "Реализация (акт, накладная)" и Чек ККМ. Для версии ПРОФ отчет формируется по регистру накопления "Себестоимость товаров".

1000 руб.

07.03.2019    4356    0       

Универсальная внешняя печатная форма "Товарный чек" Со скидками / Без скидок для 1С "Штрих-М" 1

Отчеты и формы Бухгалтер Внешняя обработка (ert,epf) v8 1cv8.cf БУ Оптовая торговля Розничная торговля Платные (руб) Универсальные печатные формы Печатные формы документов

Универсальная внешняя печатная форма "Товарный чек" для Документов: "Заказ покупателя", "Расходная накладная", "Счет", "Чек". Со скидками и Без Скидок для 1С "Штрих-М"

1000 руб.

18.12.2018    5072    0