Настройка облачного хранилища — удалённая работа в Москве

Хранилище: персональное. Объём: 1 ТБ. Операционная система: Windows. Что нужно ещё: настроить механизм дедупликации файлов, переместить резервные копии в хранилище, настроить механизм шифрования. Сейчас синхронизируется автоматически созданная папка Yandex.Disk, а нужно, чтобы также в дополнение синхронизировался рабочий стол и несколько папке на диске С.

Хранилище: персональное. Объём: 256. Операционная система: Windows. Пожелания и особенности: Требуется развернуть инфраструктуру обработки данных в Yandex Cloud: создать и настроить сеть, сервисный аккаунт, Object Storage и кластер Data Proc с доступом через прокси-машину, обеспечить подключение по SSH и возможность работы с HDFS и объектным хранилищем, затем получить исходные датасеты через CLI, выполнить их загрузку и предобработку на мастер-узле с использованием Bash и Hadoop MapReduce, сформировать результирующие файлы с вычислениями (включая агрегаты по пользователям и категориям), выгрузить эти результаты в Object Storage с публичным доступом, а также обеспечить воспроизводимость процесса через скрипты и корректное завершение работы инфраструктуры с последующей остановкой или удалением кластера. Необходимо получить датасет Avito через kaggle CLI, загрузить файл VisitsStream.tsv на мастер-узел кластера и средствами Bash обработать первые 1 000 000 строк, посчитав топ-10 пользователей по числу посещений с указанием количества визитов для каждого пользователя; все этапы — скачивание, преобразование и формирование результата — выполняются только Bash-командами, после чего итоговый файл должен быть выгружен в объектное хранилище с публичным доступом и предоставлена ссылка на него. Дополнительно требуется обработать файл AdsInfo.tsv: с использованием классического Hadoop MapReduce вычислить суммарную стоимость объявлений (Price) для каждой категории (CategoryID), отсортировать результат по возрастанию идентификаторов категорий, сохранить его в итоговый файл и также разместить в объектном хранилище с публичным доступом.

Хранилище: персональное. Объём: 256. Операционная система: Windows. Пожелания и особенности: Развернуть кластер на Яндекс.Облаке для работы , в рамках домашнего задания по курсу по машинному обучению для больших данных. Необходимо проделать шаги разворачивания кластера. Hadoop, MapReduce.

Хранилище: для бизнеса. Объём: 400 Гб. Операционная система: Windows. Что нужно ещё: восстановить данные из копии в облаке.

Хранилище: для бизнеса. Объём: 500. Операционная система: Ubuntu. Что нужно ещё: Mikrotik OS. У нас арендован физический сервер, частично все развернуто нужно помочь быстрее до настроить и вывести в интернет его.

Хранилище: персональное. Объём: 1 Tb. Операционная система: Windows. Что нужно ещё: Синхронизировать файлы на жестком диске и в облаке. Яндекс диск установлен на ПК, ноутбуке и на андроиде. Везде я вижу разное количество файлов. Нужно все синхронизировать и настроить автоматическую синхронизацию.