Аналитик-разработчик в команду ML-аналитики Алисы

Описание

Локация: гибридный формат, удалённая работа или офис.
Компания
Yandex развивает Алису — эмпатичного голосового ассистента, которым ежедневно пользуются миллионы людей.
Что делать

Разрабатывать и внедрять систему LLM-as-a-judge для автоматической оценки ответов моделей.
Создавать надёжные пайплайны обработки текстовых и мультимодальных данных для обучения и оценки.
Разрабатывать общую систему offline-метрик и критериев качества для Алисы.
Находить и подготавливать данные, необходимые для оценки качества продукта.
Интегрировать инструменты и метрики в продакшен-процессы ML-разработчиков и аналитиков.

Требования

Опыт от 3 лет.
Уверенное владение SQL и Python, использование Pandas.
Знание теории вероятностей и математической статистики.
Умение писать аналитический production-код, создавать инструкции и видеть продукт или проект целиком.
Навыки анализа и построения эффективных процессов обработки данных.
Инициативность и готовность самостоятельно искать решения.

Хорошо, если есть

Опыт работы с NLP.
Опыт работы с краудсорсинговыми разметками и ML.

Культура и преимущества

Доступны гибридный, удалённый и офисный форматы работы.
Работа над системами оценки качества передовых LLM и агентских моделей.
Возможность влиять на развитие Алисы и создание ассистента для решения сложных задач пользователей.