Парсинг — удалённая работа в Москве

Спарсить: товары, цены, отзывы. Парсинг данных с сайтов и приложений – c относительно простых до более сложных (Cloudflare, Qrator, др.): название, цены, контент, наличие товара Требуется разработать программу для регулярного (ежедневного) сбора открытых данных с торговой онлайн-площадки. Программа должна получать информацию о ценах, название, описание товаров, изображения, статус наличия или отсутствия, наименование продавца. Эти данные необходимы для анализа рынка, а программа – для последующего использования заказчиком. Мы собираем данные с сотен сайтов и ищем специалистов для расширения пула сайтов для получения данных. Из числа простых могут потребоваться разработка сбора с таких приложений, как Wildberries, Apteka.ru, Mvideo и другие. Примеры площадок из числа сложных: – https://www.asna.ru/ – https://shopee.co.id – https://uae.emaxme.com/ – https://melzdrav.ru/ – https://polza.ru/ – https://zdesapteka.ru/ – https://www.mediaworld.it/ – https://www.coupang.com/ Требования к разработке программы для сбора с конкретной площадки: – Программа может быть разработана на Golang или ином (более удобном для вас) языке программирования. – Программа может парсить с веб-сайтов ИЛИ получать данных по API мобильного приложения, эмулируя запросы пользователей. Выбор среди двух этих методов не принципиален. – Программа должна эффективно обходить механизмы защиты (например, Qrator или Cloudflare), включая CAPTCHA. Могут быть задействованы прокси-сервера; а также введение задержек между запросами. – Результаты парсинга должны быть сохранены в структурированном формате, например, в формате CSV или базы данных. – (Опционально) Оптимизация производительности программы при работе с большими объемами данных (от 1-2 до 10 тыс. товаров в день) Пожалуйста, предоставьте информацию о вашем опыте работы с парсингом данных и примеры ранее выполненных проектов. Бюджет: цена договорная, в зависимости от площадки В случае успеха проекта, возможно дальнейшее сотрудничество для поддержки программы (и разработка новых программ для других площадок). Готовы рассмотреть вариант попроектной оплаты. Готовы предоставить все необходимые уточнения и подробности.