Pre-Train ML Engineer (LLM Development & Optimization)

Описание

Локация: офис в Москве, м. Нагатинская/м. Верхние Котлы; график 5/2 с 9:00 до 18:00Зарплата: от 210 000 рублей на руки в месяцКомпанияАктив-М развивает продуктовые решения на основе современных языковых моделей и машинного обучения.Что делатьПроектировать, адаптировать и реализовывать архитектуры LLM под требования продукта.Балансировать качество генерации, скорость работы и потребление вычислительных ресурсов.Настраивать, запускать и контролировать распределённые тренировочные пайплайны, включая гиперпараметры, кластеры и метрики обучения.Взаимодействовать с Data Engineering-командой при приёме, валидации и подготовке обучающих корпусов.Обеспечивать качество, безопасность и стабильность моделей от прототипирования до production-эксплуатации.ТребованияГлубокое понимание архитектур Transformer, MoE, RoPE и вариантов attention; опыт модификации или разработки кастомных архитектур.Свободное владение Python и PyTorch или JAX.Опыт распределённого обучения с DeepSpeed, Megatron-LM или FSDP, включая оптимизацию multi-GPU/multi-node конфигураций.Знание гиперпараметров, learning rate scheduling, checkpointing, gradient accumulation и mixed precision BF16/FP8.Опыт запуска, мониторинга и отладки тренировочных процессов с W&B, MLflow или TensorBoard.Успешный опыт обучения или дообучения LLM «под ключ» — от данных и пре-трена до production-развёртывания и поддержки.Культура и преимуществаОфициальное оформление с первого рабочего дня.Полный социальный пакет.Компенсация питания.Работа в офисе по фиксированному графику 5/2.