QA-инженер (LLM-платформа)
Описание
Локация: Москва, работа на месте работодателя; в предложении также указан гибридный формат. Офис расположен рядом с м. Кутузовская.
Компания
СБЕР разрабатывает AI-инструменты, LLM-платформу и решения для автоматизации на базе искусственного интеллекта.
Что делать
Проводить функциональное и регрессионное тестирование AI-продуктов, веб-интерфейсов, API и интеграций.
Разрабатывать и поддерживать evaluation datasets и golden sets для оценки качества ответов моделей.
Тестировать промпты на устойчивость к перефразированию, edge-кейсам, инъекциям и jailbreak-сценариям.
Оценивать точность, полноту, галлюцинации и соответствие ответов структурированному формату и JSON Schema.
Анализировать недетерминированное поведение и воспроизводить плавающие дефекты.
Автоматизировать проверки на Python и pytest, тестировать API-интеграции с OpenAI, Anthropic и OpenRouter.
Требования
От 3 лет опыта в тестировании, включая ручное тестирование и понимание принципов автоматизации.
Практический опыт работы с ChatGPT, Claude, Copilot или аналогичными AI-инструментами.
Понимание prompt engineering, включая структуру промпта, few-shot, chain-of-thought, sdd и системные промпты.
Уверенное тестирование API с Postman, curl или HTTP-клиентами; понимание REST и JSON.
Понимание недетерминированности LLM, галлюцинаций, ограничений контекста, температуры и параметров генерации.
Базовый Python для автотестирования: pytest, requests, фикстуры, ассершены и структура тестового проекта.
Хорошо, если есть
Продвинутая UI-автоматизация с Playwright или Selenium и опыт построения фреймворков.
Опыт создания LLM-evaluation пайплайнов с promptfoo, LangSmith, Ragas или собственными фреймворками.
Понимание RAG-архитектур и векторного поиска.
Опыт тестирования безопасности LLM, включая prompt injection, jailbreaks и утечки данных.
Английский на уровне чтения технической документации и выше.
Культура и преимущества
Современный офис, корпоративный спортзал и зоны отдыха.
Ежегодный пересмотр зарплаты.
Более 400 образовательных программ СберУниверситета.
Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
Льготные условия по ипотечному кредиту и подписка СберПрайм.
Вознаграждение за рекомендации кандидатов.