Написание парсера — удалённая работа в Москве

Создание Парсера для получения и обработки информации, цен и изображений с следующих ресурсов: Labirint.ru, ozon.ru, wildberries.ru, skidka-msk.ru. За основу парсинга берется информация, полученная с сайта Labirint.ru Входная информация: EAN (баркод) товара. Принцип работы приложения Оператор вводит определенное количество EAN и запускает работу парсера. Парсер начинает работу на сайте Labirint.ru. Парсер собирает всю доступную информацию (Название, автор, цена, описание, ширина, высота, толщина, вес, количество страниц, жанр . тематика, вид обложки и т.д.) на сайте. Также берет ссылку на изображение (обложку). Также проверяет полученную позицию на запрещенные. После сбора всей информации на labirint.ru приложение переходи на сайт ozon.ru. Осуществляется поиск по EAN. Из полученных результатов поиска, приложение делает проверку на “определенное” совпадение по названию полученного на предыдущем этапе (в случае если предмет был найден на первом этапе – Labirint.ru). Далее приложение берет цены подходящих позиции и сортирует их по возрастанию для получения минимальной цены на сайте ozon.ru. Затем приложение, не заходя в карточки подходящего товара (на странице поиска) проверяет есть ли у какого-то объекта из результата поиска дополнительные изображения. Если приложение находит такую позицию, то оно переходит в карточку товара и берет все ссылки на дополнительные изображения (включая обложку) и исключает видео форматы. Приложение берет ссылки на полноразмерные изображения, а не привью изображений. Далее в случае если на первом этапе (labirint.ru) какая-то информация не была найдена, то приложение пробует найти недостающую информацию. В случае если изображение было найдено на Ozon, то перезаписывается ссылка на основное изображение, взятое на первом этапе на сайте Labirint.ru. Следующий 3-й этап – переход на сайт wildberries для получения минимальной цены по тому же принципу что и на сайте Ozon (проверка на “определенное” совпадение по названию). 4-й этап аналогичен 3-му этапу – получение цены на сайте skidka-msk.ru. После получения всех данных из 4 этапов, приложение скачивает основное изображение и дополнительные изображения (если такие имеются). Скаченные изображения преобразуются в нужный формат и размер. Затем изображения выгружаются в наше хранилище (Google Firebase) и получает ссылки на эти изображения. Данный этап с закачкой и обработкой изображений с последующим размещение в нашем хранилище осуществляется по причине того что мы не всегда можем использовать внешние ссылки для загрузке на маркетплейсы (размер, тип и т.д.) После всего описанного выше, формируется карточка товара с информацией и приложение переходит к следующему объекту до окончания всей обработки. На выходе, после окончания обработки приложения, оператор получает графическое представление результатов обработки. В нем можно удалить элемент если к примеру карточка товара пустая (товар не найден), может осуществить быструю замену обложки (использовать обложку с Labirint.ru вместо ozon.ru, если таково было найдено). Также можно удалить дополнительные изображения. Также приложение показывает основной ресурс (Labirint или Ozon) откуда была полученная информация. Также у оператора есть возможность в графическом редакторе перепарсить определенный объект.