Senior/TL Data Engineer (Data Lakehouse)
Описание
Локация: Москва, офисный формат работы на месте работодателя, м. Кутузовская
Зарплата: до 540 000 ₽ в месяц до вычета налогов
Компания
СБЕР развивает централизованное единое хранилище данных блока B2C и платформу на базе Data Lakehouse и Data Streamhouse.
Что делать
Проектировать и реализовывать производительные ETL- и ELT-процессы для витрин данных на Apache Spark и Greenplum.
Развивать пайплайны обработки данных на Hadoop и участвовать в развитии Data Lakehouse на Apache Iceberg.
Реализовывать инкрементальные загрузки, оптимизировать партиционирование, compaction и time travel.
Разрабатывать и документировать API на Java или Scala для доступа к витринам и сервисам семантического слоя.
Оптимизировать Spark-приложения с использованием Gluten и Velox, а также разрабатывать решения для контроля качества данных на Spark и Python.
Внедрять решения в продуктовую среду, настраивать CI/CD-пайплайны в Jenkins и управлять зависимостями задач в Oozie или современных оркестраторах.
Требования
Более 6 лет опыта в разработке и эксплуатации инженерных решений для данных.
Уверенное владение SQL, Java или Scala и Python для ad-hoc-анализа и Data Quality.
Глубокое понимание Apache Hadoop, включая HDFS и YARN, и опыт работы с экосистемой в production.
Опыт разработки пайплайнов на Apache Spark Core, Spark SQL и Structured Streaming не ниже middle.
Знание форматов Parquet, ORC и Avro, а также Apache Iceberg.
Опыт оптимизации Spark: настройка ресурсов, устранение перекосов данных, работа с memory и оптимизация shuffle.
Хорошо, если есть
Опыт внедрения промышленных пайплайнов пакетной передачи данных.
Опыт работы с Gluten, Velox или аналогичными векторизованными движками.
Навыки сборки и развертывания Docker-образов приложений.
Культура и преимущества
Корпоративный спортзал и зоны отдыха.
Более 400 образовательных программ СберУниверситета, регулярные митапы и развитое DS-сообщество.
Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
Льготные условия по ипотечному кредиту и подписка Прайм с возможностью совместного использования.
Вознаграждение за рекомендации кандидатов в команду.