Тестировщик (LLM, ML)
Описание
Цифровые Привычки – аккредитованная IT-компания, резидент Сколково, топ-5 подрядчиков Сбера. Мы предоставляем услуги IT-консалтинга, заказной разработки, аутсорсинга IT-процессов и развиваем собственные продукты и проекты партнеров.Наша команда — это сплоченный коллектив высококвалифицированных профессионалов, способных эффективно решать самые сложные задачи. Нас более 250 человек, распределенных по разным проектам и городам. Сейчас мы в поиске Тестировщика с опытом тестирования ML/LLM-систем на проект Сбера. Работа в офисе(Москва) Обязанности: Выстроить систему оценки качества ответов LLM-агентов (SQL-агент, агент анализа, агент визуализации): метрики, критерии, процессРазвивать и сопровождать тестовые корзины для регрессионного тестирования: эталонные вопросы, ожидаемые SQL-запросы и ответы Автоматизировать прогон тестов и оценку по бинарным критериям (валидность JSON, исполнимость SQL, отсутствие галлюцинаций, корректность ролевого доступа, консистентность ответов), в том числе через LLM Judge Проводить сравнительное тестирование моделей и версий промптов, готовить отчёты для принятия решенийТестировать релизы перед выводом в пром, выявлять расхождения поведения между тестовым и промышленным контурами Анализировать инциденты качества в проме, локализовывать причины (промпт / модель / данные / код) Требования: Опыт QA от 3 лет, из них опыт тестирования ML/LLM-системУверенный SQL (у нас GreenPlum) — умение читать и проверять чужие запросы, находить логические ошибки Python для автоматизации тестов и обработки результатовПонимание специфики LLM: недетерминированность, галлюцинации, чувствительность к промптам Будет плюсомОпыт работы с фреймворками оценки LLM (Ragas, DeepEval) или построения своихОпыт с LangChain/LangGraphЗнание банковской предметной области, финансовой отчётности (P&L)Опыт тестирования data-продуктов: витрины, ETL, качество данных Условия: Первые 3 месяца работа в офисе, далее гибрид Трудоустройство Ип или ГПХ Уровень заработной платы обсуждаем на собеседовании(учитываем Ваш опыт и компетенции)