Настройка облачного хранилища — удалённая работа в Москве

Хранилище: персональное. Объём: 1 ТБ. Операционная система: Windows. Что нужно ещё: настроить механизм дедупликации файлов, переместить резервные копии в хранилище, настроить механизм шифрования. Сейчас синхронизируется автоматически созданная папка Yandex.Disk, а нужно, чтобы также в дополнение синхронизировался рабочий стол и несколько папке на диске С.

Хранилище: персональное. Объём: 256. Операционная система: Windows. Пожелания и особенности: Требуется развернуть инфраструктуру обработки данных в Yandex Cloud: создать и настроить сеть, сервисный аккаунт, Object Storage и кластер Data Proc с доступом через прокси-машину, обеспечить подключение по SSH и возможность работы с HDFS и объектным хранилищем, затем получить исходные датасеты через CLI, выполнить их загрузку и предобработку на мастер-узле с использованием Bash и Hadoop MapReduce, сформировать результирующие файлы с вычислениями (включая агрегаты по пользователям и категориям), выгрузить эти результаты в Object Storage с публичным доступом, а также обеспечить воспроизводимость процесса через скрипты и корректное завершение работы инфраструктуры с последующей остановкой или удалением кластера. Необходимо получить датасет Avito через kaggle CLI, загрузить файл VisitsStream.tsv на мастер-узел кластера и средствами Bash обработать первые 1 000 000 строк, посчитав топ-10 пользователей по числу посещений с указанием количества визитов для каждого пользователя; все этапы — скачивание, преобразование и формирование результата — выполняются только Bash-командами, после чего итоговый файл должен быть выгружен в объектное хранилище с публичным доступом и предоставлена ссылка на него. Дополнительно требуется обработать файл AdsInfo.tsv: с использованием классического Hadoop MapReduce вычислить суммарную стоимость объявлений (Price) для каждой категории (CategoryID), отсортировать результат по возрастанию идентификаторов категорий, сохранить его в итоговый файл и также разместить в объектном хранилище с публичным доступом.

Хранилище: персональное. Объём: 256. Операционная система: Windows. Пожелания и особенности: Развернуть кластер на Яндекс.Облаке для работы , в рамках домашнего задания по курсу по машинному обучению для больших данных. Необходимо проделать шаги разворачивания кластера. Hadoop, MapReduce.

Хранилище: ТЗ. Объём: 200. Операционная система: ТЗ. Что нужно ещё: ТЗ. Задача — развернуть облачную инфраструктуру в Yandex Cloud для обучения 10–15 студентов Data Engineering на базе Ubuntu 22.04 с использованием Docker Compose. Необходимо поднять основные сервисы: Apache Airflow, PostgreSQL (metadata и DWH), MinIO и JupyterLab, с настройкой persistent volumes, firewall, resource limits и доступом по HTTP. Также требуется подготовить документацию (README, setup guide, troubleshooting) и скрипт автоматической установки setup.sh для развертывания с нуля. Результатом должен быть GitHub-репозиторий с кодом, работающая инфраструктура в Yandex Cloud и onboarding-сессия с демонстрацией работы. Полное техническое задание - https://docs.google.com/document/d/1IdtaVxHR7_eTtxyGQWG6qyCmmtyEG8PgULLhxfESV2g/edit?usp=sharing.

Хранилище: для бизнеса. Объём: 400 Гб. Операционная система: Windows. Что нужно ещё: восстановить данные из копии в облаке.

Хранилище: персональное. Объём: 1 Tb. Операционная система: Windows. Что нужно ещё: Синхронизировать файлы на жестком диске и в облаке. Яндекс диск установлен на ПК, ноутбуке и на андроиде. Везде я вижу разное количество файлов. Нужно все синхронизировать и настроить автоматическую синхронизацию.