Старший Инженер Данных (Узбекистан)

Описание

Проект с релокацией в Узбекистан! Мы ищем Senior Data Engineer для участия в крупном технологическом проекте в финансовом секторе. Проект связан с развитием платформы обработки и анализа больших объемов клиентских данных и ее переводом в промышленную эксплуатацию. Специалист присоединится к команде разработки и будет отвечать за построение надежных ETL-процессов, автоматизацию обработки данных, внедрение оркестрации и подготовку решения к стабильной работе в production-среде. Подробная информация о компании и проекте предоставляется кандидатам на следующих этапах отбора. Обязанности Разработка и оптимизация процессов обработки больших объемов данных с использованием Apache Spark, PySpark и SQL. Построение и развитие многостадийных ETL-пайплайнов, включая обеспечение их идемпотентности и восстановление после сбоев. Внедрение и настройка оркестрации пайплайнов с использованием Airflow, Dagster или Prefect. Работа с OLAP-СУБД, оптимизация массовой загрузки и батчевой обработки данных. Интеграция данных из внутренних и внешних источников. Участие в переводе решения в промышленную эксплуатацию, включая автоматизацию, мониторинг и взаимодействие с ML- и DevOps-командами. Требования Опыт работы Data Engineer от 5 лет, включая не менее 3 лет промышленной работы с Apache Spark и PySpark. Опыт работы с большими объемами клиентских данных в банковской, финтех- или телеком-сфере от 2 лет. Экспертное владение SQL: оптимизация сложных аналитических запросов, оконные функции, партиционирование и батчевая обработка больших выборок. Уверенное владение Python и инструментами обработки данных: pandas, pyarrow, Parquet. Опыт построения отказоустойчивых многостадийных ETL-пайплайнов, включая идемпотентность, восстановление после сбоев и контроль потребления памяти. Практический опыт работы с OLAP-СУБД, массовой загрузкой данных и системами оркестрации, такими как Airflow, Dagster или Prefect. Условия Участие в крупном технологическом проекте в финансовом секторе. Работа с высоконагруженными системами и большими объемами данных. Контракт сроком на 1 год. Офисный формат работы с релокацией в Узбекистан. Итоговое предложение определяется по результатам интервью и зависит от опыта и технической экспертизы кандидата. Работа в команде опытных Data Engineering, Machine Learning и DevOps-специалистов.