Senior Data Engineer / DevOps | Ташкент, Узбекистан
Описание
Вы присоединитесь к проекту одного из ведущих международных консалтинговых игроков, работающего с крупнейшими организациями по всему миру. Проект связан с развитием высоконагруженной платформы обработки данных для кредитного скоринга. Команда строит промышленную data-платформу для обработки больших объемов данных, автоматизации ETL-процессов и развития аналитической инфраструктуры. Обязанности Разрабатывать и сопровождать ETL/ELT-пайплайны на Python/PySpark и Apache Spark. Оптимизировать SQL-запросы и процессы обработки больших объемов данных. Работать с OLAP-СУБД (ClickHouse, StarRocks или аналогичные), настраивать загрузку и обновление данных. Внедрять и поддерживать оркестрацию пайплайнов (Airflow, Dagster или Prefect). Эксплуатировать Spark-кластеры и инфраструктуру обработки данных в Linux-среде. Контейнеризировать сервисы (Docker), поддерживать CI/CD (GitLab CI) и мониторинг (Prometheus, Grafana). Обеспечивать надежность, отказоустойчивость и производительность data-платформы. Мы ожидаем 5+ лет опыта в Data Engineering. 3+ года практического опыта с Apache Spark в промышленной эксплуатации. Опыт работы с большими объемами данных в банках, финтехе или телекоме. Отличное знание SQL: аналитические запросы, оконные функции, партиционирование, оптимизация производительности. Уверенное владение Python (PySpark, pandas, pyarrow, parquet). Практический опыт построения надежных ETL-пайплайнов и оркестрации (Airflow / Dagster / Prefect). Опыт работы с OLAP-СУБД и распределенными системами хранения данных. Хорошее знание Linux, Docker, GitLab CI, Prometheus и Grafana. Опыт работы с on-premise инфраструктурой. Будет плюсом Kubernetes, Ansible, Terraform. Интеграция внешних источников данных (кредитные бюро, госреестры, налоговые сервисы). Условия Релокация в Ташкент, Узбекистан. Работа в крупной международной консалтинговой компании. Официальное трудоустройство и конкурентная заработная плата. Возможность влиять на архитектуру платформы, производительность и отказоустойчивость критически важных сервисов.