Программисты — удалённая работа в Москве

Системное программирование. Разработка с нуля. На основе ваших требований и анализа лучших практик в области создания парсеров, я подготовил подробное техническое задание. Оно структурировано так, чтобы максимально полно охватить все аспекты проекта и минимизировать недопонимание между заказчиком и разработчиком. ### 🎯 Техническое задание на разработку парсера вакансий **1. Сайты-источники данных** * **Основные целевые сайты:** `rabota.ru`, `hh.ru`, `superjob.ru`, `joblab.ru`, `zarplata.ru`. * **Требование к расширяемости:** Архитектура системы должна позволять относительно легко подключать новые сайты для парсинга в будущем, в том числе не российские. **2. Данные для сбора и их расположение** Для каждой компании необходимо собирать следующий массив данных. Все данные должны быть привязаны к компании-работодателю. | Поле данных | Описание | Особые указания | | :--- | :--- | :--- | | **Название компании** | Наименование компании-работодателя. | | | **Открытые должности** | Список всех открытых в компании вакансий. | Указывать в одной ячейке через запятую. | | **Контактный номер телефона** | Номер для связи. | Если номеров несколько, указывать в одной ячейке через запятую. | | **Контактная почта** | Электронный адрес для связи. | Если адресов несколько, указывать в одной ячейке через запятую. | | **Город** | Город расположения компании/вакансии. | | | **Адрес** | Физический адрес офиса. | | **Требования к наглядности:** Для каждого сайта-источника необходимо предоставить ссылку на пример страницы с вакансиями компании и **приложить аннотированный скриншот**, где четко отмечены места расположения каждого из перечисленных полей данных. Если какое-то поле (например, телефон) есть не на всех страницах, необходимо предоставить ссылку на страницу, где оно присутствует. **3. Алгоритм работы и фильтры** Парсер должен управляться через графический интерфейс или конфигурационный файл с поддержкой следующих фильтров поиска: * **Город** * **Должность** (поиск по ключевым словам) * **Поиск по готовой ссылке** — возможность вставить URL с одним из сайтов-источников, на котором уже применены нужные фильтры. Это позволяет использовать встроенные на сайтах возможности расширенного поиска. **4. Формат сохранения данных** * **Основной формат:** **Excel (.xlsx)**. Программа должна создавать файл, готовый к открытию в Microsoft Excel или аналогичных программах. * **Структура файла:** Вы должны предоставить разработчику **шаблон XLSX-файла**, составленный вручную. В этом файле на примере одной компании должно быть показано, как именно должны выглядеть собранные данные: названия столбцов, порядок их следования, формат записи данных (например, телефоны и должности через запятую в одной ячейке). Это исключит разночтения. **5. Дополнительные функциональные требования** * **Обход ограничений:** Необходимо предусмотреть механизм работы через **прокси-серверы** для избежания блокировок IP-адресов. * **Обработка авторизации:** На некоторых сайтах (например, superjob.ru) контактные данные (телефоны, email) видны только авторизованным пользователям. Программа должна поддерживать авторизацию на сайтах-источниках. Для этого необходимо предоставить валидные тестовые логины и пароли. * **Устойчивость к ошибкам:** Программа должна уметь приостанавливать работу при пропадании интернета или ошибках на сайте и автоматически возобновлять ее после восстановления связи, делая несколько попыток. * **Планировщик:** Реализовать функцию **ежедневного автоматического запуска** для обновления данных. **6. Архитектура и расширяемость** Это ключевое требование для будущего развития проекта. Система должна быть модульной. * **Ядро системы:** Отвечает за общее управление, обработку фильтров, экспорт в XLSX. * **Модули парсинга (Плагины):** Для каждого сайта-источника должен быть создан отдельный модуль (плагин), который содержит всю специфическую логику для работы с этим сайтом (особенности разметки, навигации, авторизации). Это позволит в будущем подключать новые сайты путем написания нового модуля, не переписывая ядро системы.