Data Platform Engineer

Описание

Описание проекта: Развитие и сопровождение системы класса CDP (Customer Data Platform); Объединение данных из 20+ источников в единую «Карточку клиента» с обеспечением требований Business Critical; Система включает компоненты online профиля клиента (streaming processing) и offline профиль клиента (batch processing); Выходным продуктом системы являются данные по клиентам, готовые для использования в бизнес-процессах. Чем предстоит заниматься: Проектировать и разрабатывать batch- и streaming processing сервисы, удовлетворяющих требованиям Business Critical; Реализовывать интеграции с системами-источниками и системами-потребителями в части клиентских данных; Внедрять DQ-проверки на этапах обработки данных; Выстраивать мониторинг, логирование и сбор метрик системы; Реализовывать CI/CD, требования ИБ, компоненты для повышения надежности и стабильности сервисов. Наши ожидания: 3+ года опыта в роли Data Engineer/Backend Developer; Java: уверенное владение для streaming processing; Python: для написания DAGs Airflow (DAG, операторы, сенсоры); Airflow: DAG, операторы, сенсоры; SQL: глубокое знание, оптимизация запросов, опыт работы с PostgreSQL и ClickHouse; Kafka: опыт работы с producers/consumers, настройка кластера/брокеров/топиков; СУБД: Redis/ClickHouse/PostgreSQL или подобные системы; CI/CD: Gitlab CI, Runners, Docker, Bash; Опыт использования AI-инструментов (ChatGPT, Claude, Cursor) для ускорения разработки, отладки и тестирования кода; Применение AI для анализа логов, алертов и автоматизации CI/CD-пайплайнов. Мы предлагаем: Доступ к современным AI-инструментам; Работу в стабильной и активно развивающейся компании – лидере инвестиционного рынка; Современный стек технологий, амбициозные проекты, возможность профессионального развития; Гибридный режим работы: возможность работать удаленно (частично или полностью); Работу в аккредитованной Минцифры России ИТ-компании, резиденте Сколково; ДМС с первого месяца работы.