Senior Data/Lineage Engineer (MedTech)
Описание
Локация: удалённая работа из России; необходимо синхронизировать тайм-зоны и иметь пересечения рабочего времени с командой
Компания
Техническая команда, занимающаяся продуктовой разработкой стартапов, цифровой трансформацией и сложными наукоёмкими проектами для клиентов в России, США и Европе.
Что делать
Исследовать источники данных, lineage-теги, выходные схемы и сценарии потери доступных артефактов.
Проектировать устойчивую идентичность сущностей и целевой compound registry с соответствием InChIKey и internal id.
Версионировать output_schema и extractors для научных пайплайнов Vina, OpenFE, ADMET, Lilly, triage, nomination и MADD.
Настраивать lineage между стадиями через OpenLineage или эквивалент, а также реализовать audit exporter без второго журнала статусов.
Ввести QC артефактов в MinIO/S3 и перевести downstream-получение входов на идентификаторы и ссылки s3://.
Согласовывать контракты схем, автоматизировать инварианты тестами и передавать документацию внутренней команде.
Требования
Уверенное владение Python, SQL и PostgreSQL, включая миграции и Row-Level Security.
Опыт построения пайплайнов, где объектное хранилище является source of truth.
Практический опыт работы с data contracts, schema evolution и data lineage.
Опыт работы с файловыми и бинарными артефактами, а также проектирования устойчивой идентичности сущностей.
Умение фиксировать инварианты тестами и передавать решения внутренней команде.
Уровень Senior и опыт от 3 до 6 лет.
Хорошо, если есть
OpenLineage, Marquez или DataHub.
MLOps или научные пайплайны с ClearML, MLflow, Flyte, Nextflow или Airflow.
RDKit, SDF, Parquet и JSON Schema.
Опыт работы в on-prem или air-gap окружениях.
Культура и преимущества
Удалённая фултайм-работа с мягким графиком и работой над одним проектом без постоянных переключений.
Онбординг, 1:1, Grow Review, наставничество и возможность менять проекты.
Годовой бюджет на ДМС, здоровье, спорт, технику, обучение, языковые курсы и конференции.
Митапы, внутренняя библиотека, поддержка выступлений, публикаций и Open Source-контрибьюций.
Ежегодный командный фестиваль и тематические встречи в разных городах.