Программисты — удалённая работа в Москве

Data Science. -. Пожелания и особенности: Вот описание вакансии для aimonitor.pro: AI Analytics & Research Full-time · Remote · aimonitor.pro О роли Мы строим платформу мониторинга бренд-присутствия в ответах LLM — и нам нужен человек, который одновременно понимает, как эти модели устроены изнутри, умеет работать с данными и помогает превращать исследования в продуктовые решения. Это не классическая роль аналитика. Здесь нет чёткой границы между «смотрю на данные» и «улучшаю систему» — ты делаешь и то, и другое. Что предстоит делать Исследования и анализ — Проводить отраслевые ресёрчи по запросу клиентов и команды (бренды, ниши, конкуренты в LLM-ответах) — Структурировать и презентовать результаты в виде понятных отчётов и инсайтов Работа с платформой и метриками — Интегрировать новые гипотезы и наработки в продукт, отслеживать влияние изменений на метрики — Участвовать в проектировании новых метрик и методологии измерений — Актуализировать рейтинги и бенчмарки Клиентская поддержка и онбординг — Помогать клиент-facing команде заводить проекты: настройка запросов, диагностика проблем — Формулировать задачи в разработку на основе клиентского фидбека — Частичная поддержка пользователей AI/LLM-часть — Улучшать промпты: системные, оценочные, ресёрч-цепочки — Разрабатывать и поддерживать eval-пайплайны — Использовать LLM-as-a-judge подходы для оценки качества ответов — Следить за тем, что происходит в LLM-пространстве и тащить релевантное в продукт Что важно знать и уметь — Понимание архитектуры LLM: как работают трансформеры, как формируются ответы, что такое контекстное окно, temperature, sampling — ML-метрики и их применение: precision/recall, NDCG, cosine similarity, и специфика LLM-оценок — LLM-as-a-judge: методология, ограничения, агрегация оценок — Eval-пайплайны: что такое хороший eval, как избежать data leakage, как измерять регрессию — Python: pandas, работа с API, базовый NLP-стек (transformers/sentence-transformers приветствуется) — SQL: уверенный уровень, агрегации, оконные функции Будет плюсом — Опыт работы с промптами для RAG или классификации — Понимание морфологии и особенностей русского языка в NLP-задачах — Опыт в продуктовой или бизнес-аналитике — Знакомство с Langfuse, RAGAS, DeepEval или аналогами Что предлагаем — Работу на стыке продукта, AI и данных — без бюрократии — Прямой доступ к фаундерам и влияние на продуктовые решения — Задачи, которые реально имеют значение для клиентов — Возможность строить что-то новое в быстрорастущей нише.