Машинное обучение — работа в Москве

помощь с решением задания (подготовил решения, но есть ошибки, необходима консультация) Требуется помощь с решением задания (cоздал свои решения, но нужна консультация). Описание проблемы и постановка задачи. Представим, что мы построили социальную сеть для студентов, которая обладает следующим функционалом: можно отправлять друг другу письма, создавать сообщества, аналогичные группам в известных сетях, и в этих сообществах публиковать посты. При регистрации студенты должны заполнять данные по своему профилю, которые хранятся в поднятой на наших мощностях базе данных Postgres. Также платформа обладает лентой, которую пользователи могут листать и просматривать случайные записи случайных сообществ. Если пост нравится, можно поддержать автора и поставить лайк. Все действия пользователей сохраняются, каждая их активность, связанная с просмотром постов, тоже записывается в нашу базу. Платформа заинтересована в благосостоянии студентов, поэтому разработчики решили усовершенствовать текущую ленту. А что, если показывать пользователям не случайные посты, а рекомендовать их точечно каждому пользователю из всего имеющегося множества написанных постов? Как это сделать и учесть индивидуальные характеристики профиля пользователя, его прошлую активность и содержимое самих постов? В текущем домашнем задании нужно предстоит построить рекомендательную систему постов в социальной сети. В качестве базовых сырых данных вы будете использовать подготовленные заранее командой курса таблицы. С точки зрения разработки вам будет необходимо реализовать сервис, который будет для каждого юзера в любой момент времени возвращать посты, которые пользователю покажут в его ленте соцсети. Оценка качества модели Качество написанного вами алгоритма будет проверяться в чекере по скрытому для вас ряду user_id и ряду timestаmp (эмулируем запросы пользователей в разное время) по метрике [Email скрыт]. Предположения и что мы проверяем в решении проекта На практике мы хотим достаточно быстро формировать рекомендации. Поэтому будем требовать, чтобы алгоритм работал не более, чем ~0.5 секунд на один запрос и занимал не более ~4 ГБ памяти (цифры приблизительные). Набор пользователей фиксирован, и новых добавляться не будет. Чекер будет проверять модель в рамках того же временного периода, что вы видите в базе данных. Модели не обучаются заново при использовании сервисов. Мы ожидаем, что ваш код будет импортировать уже обученную модель и применять её. Пример пайплайна для финальньного проекта 1. Загрузка данных из базы данных (БД) и обзор данных На первом этапе мы подключаемся к базе данных, выгружаем необходимые данные и загружаем их в Jupyter Hub для анализа. В этот момент цель — понять структуру данных, выявить возможные пропуски или аномалии, а также получить общее представление о распределении и составе данных. Анализ включает изучение признаков (features) и целевой переменной. 2. Создание признаков и формирование обучающей выборки На этом этапе мы создаем новые признаки, которые могут быть полезны для модели. Признаки могут включать информацию о пользователе (например, возраст, пол, история взаимодействий), информацию о постах (тексты, темы, категории), а также дополнительные статистики, такие как частота лайков или вовлеченность пользователя. После генерации признаков формируется обучающая выборка, которая содержит все необходимые данные для последующего обучения модели. 3. Тренировка модели и оценка её качества Используя обучающую выборку, мы обучаем модель, выбирая алгоритм и его параметры. После обучения настраиваем модель и проверяем её качество на валидационной выборке. Оценка качества проводится с помощью метрик, например, точности, полноты или ROC-AUC. Этот этап помогает определить, насколько хорошо модель способна делать предсказания и где её можно улучшить. Важно понимать, что повышение локального ROC-AUC не всегда гарантирует улучшение hitrate в LMS. Поэтому мы советуем проверять, как изменения вашей валидационной метрики сказываются на hitrate в LMS, чтобы убедиться в положительном влиянии. 4. Сохранение обученной модели После того как модель успешно обучена и её качество удовлетворяет требованиям, мы сохраняем её в определённом формате, который требует модель/библиотека. Этот файл станет основой для дальнейшего использования модели, так как он содержит все необходимые данные для предсказаний, включая веса и параметры. 5. Разработка сервиса для использования модели Здесь мы создаем сервис, который позволит взаимодействовать с моделью в реальном времени. Сервис включает следующие шаги: Загрузка модели: при запуске сервис загружает ранее сохранённую модель из файла. Получение признаков: сервис принимает запросы с user_id, на основе которого формирует нужные признаки для предсказания или загружаются уже с таблиц, которые вы загрузили в базу данных. Признаки в момент предсказания должны совпадать с признаками, которые были в момент обучения модели. Предсказание: используя загруженную модель и полученные признаки, сервис делает предсказание — определяет посты, которые, вероятно, понравятся пользователю. Возвращение ответа: сервис возвращает ответ с результатами предсказания. Важно: для того чтобы система проверки (чекер) могла корректно протестировать сервис, необходимо одновременно загружать как сам сервис, так и модель. 6. Загрузка сервиса в LMS для проверки (чекер) После завершения разработки сервис и модель загружаются в LMS, где автоматический чекер выполняет тестирование. Чекер проверяет, соответствует ли сервис требованиям, выполняет ли корректные предсказания, работает ли без ошибок и насколько быстро отвечает на запросы. Успешное прохождение проверки подтверждает готовность модели к использованию в продакшене.