Data Engineer (AI/LLM Data & Infrastructure)

Описание

Локация: офис в Москве, метро Нагатинская или Верхние Котлы. График 5/2, с 9:00 до 18:00.Зарплата: от 180 000 рублей на руки в месяц.КомпанияАктив-М развивает проекты в области данных и обучения AI/LLM-моделей.Что делатьРазрабатывать, тестировать и поддерживать ETL-пайплайны для сбора, очистки, дедупликации и фильтрации обучающих корпусов.Парсить разнородные документы и преобразовывать их в структурированные форматы для обучения языковых моделей.Анализировать большие объемы текстовых и структурированных данных, писать и оптимизировать скрипты на Python и SQL.Вести полный цикл поддержки данных: от исследования источников и прототипирования парсеров до production-эксплуатации и мониторинга качества.Исследовать и внедрять методы обработки данных для LLM, включая фильтрацию шумов, оптимизацию словарей и автоматизацию evaluation-пайплайнов.ТребованияОт 1 года до 3 лет опыта в data engineering.Глубокое понимание архитектуры данных, ETL/ELT-пайплайнов и жизненного цикла данных для обучения AI-моделей.Свободное владение Python и инструментами обработки данных: Polars, Pandas, PyArrow, Dask или Spark.Опыт веб-скрапинга и парсинга с использованием Scrapy, Playwright, BeautifulSoup и инструментов разбора документов.Знание NLP-инструментов Hugging Face Datasets, Tokenizers, NLTK и spaCy, а также принципов работы токенизаторов и архитектур LLM.Опыт разработки или кастомизации токенизаторов, работы с BPE, Unigram и SentencePiece, оптимизации словаря под русский язык и внедрения data-пайплайнов для NLP/LLM в production.Хорошо, если естьЗнание открытых и корпоративных источников данных.Опыт работы с лицензиями, авторскими правами и compliance при сборе обучающих корпусов.Культура и преимуществаОфициальное оформление с первого рабочего дня.Полный социальный пакет.Компенсация питания.Фиксированный офисный график 5/2.