Data scientist — удалённая работа в Краснодаре

Решение домашнего задания (учеба). Неявка пациентов на приёмы к врачу является важной проблемой в здравоохранении, так как это снижает эффективность работы и увеличивает затраты медицинских учреждений. В этом проекте мы будем работать с набором данных из Kaggle, чтобы найти зависимости между характеристиками пациентов (например, возрастом, наличием хронических заболеваний, социальными льготами и т. д.) и их вероятностью прийти на приём. Для анализа результатов и отслеживания всех экспериментов будет использована платформа Comet ML, которая поможет сделать эксперименты понятными и воспроизводимыми. Итоги проекта могут помочь лучше организовывать медицинские приёмы и снизить количество неявок. Что нужно сделать Визуализируйте параметры числового анализа с помощью scatter matrix: выберите 7 числовых признаков из вашего набора данных и сохраните их в переменной numeric_data; для визуализации их взаимосвязей используйте scatter matrix (параллельное сравнение числовой информации с диагональными распределениями); укажите значение корреляций между параметрами на графике (например, добавьте подписи с корреляцией на перестроении диагональных plot'ов); залогируйте график scatter matrix в Comet ML для отображения наглядных связей параметров. Сделайте краткий числовой анализ: для каждого из выбранных параметров напишите базовые статистические метрики (mean, median, std, min/max), фиксируя выводы; используя результаты числовых обобщений, прокомментируйте, где информация выдает ощутимые зависимости динамических задержек корреляции на группы. Сделайте анализ сильных связей между параметрами: найдите две пары признаков, которые имеют самую сильную положительную корреляцию (например, выше 0.8), и постройте отдельный scatter plot для каждой из этих пар; найдите пару признаков с самой сильной отрицательной корреляцией (например, ниже -0.5), и постройте scatter plot для этой пары; на каждом графике добавьте линию тренда (регрессионную линию), чтобы подчеркнуть зависимость. Проведите логирование в Comet ML: логируйте scatter matrix, результаты базовых статистических метрик и созданные scatter plots с линиями тренда в Comet ML для полноты эксперимента; не забудьте добавить заголовки к графикам (например, “Scatter Matrix for Selected Features“ или “Correlation Analysis for Feature Pair: X & Y“). Подготовьте текстовый вывод информации. Напишите небольшое текстовое заключение: Какие признаки имеют наиболее сильные взаимные зависимости (положительные и отрицательные)? Есть ли выбросы или паттерны, которые требуют внимания? Какие данные могут быть полезными для дальнейшей обработки или улучшения модели? Залогируйте это текстовое заключение в Comet ML как часть вашего эксперимента (например, с помощью метода log_parameter()). Для построения scatter matrix можно использовать pandas.plotting.scatter_matrix или библиотеку seaborn.pairplot. Для расчета корреляций используется метод .corr() из pandas. Для логирования в Comet ML используйте experiment.log_figure() для графиков и experiment.log_text() или experiment.log_metric() для текстовых выводов.