Data engineer
Описание
ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее. Мы занимаемся разработкой витрин данных для клиентов с Пакетами Услуг - расчет доступных клиентам уровней пакетов на основе данных о балансах и расходах Первый этап отбора на эту вакансию – общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным! Обязанности Чем предстоит заниматься: разрабатывать и поддерживать витрины данных в экосистеме Hadoop проектировать и улучшать архитектуру системы проводить анализ данных для построения прототипов (Python/Saprk) разрабатывать и оптимизировать пайплайны обработки данных/ETL на собственном фреймворке на базе Spark, а также помогать другим командам внедрять контроль качества данных (собственный DQ-фреймворк) Требования Мы ждем от кандидата: высшее образование опыт работы data engineer от 3 лет глубокое понимание принципов модели распределённых вычислений, а также уверенные навыки поиска, обработки данных и построения витрин с помощью Spark и SQL опыт промышленной разработки на стеке Scala/Java/Python, знание инструментов по обработке больших данных (Spark, Trino, Polars) продвинутые знания SQL и практический опыт работы с Hadoop/Greenplum а также работа с объектными хранилищами S3 и файловой системой HDFS знание любого оркестратора рабочих процессов (AirFlow, Oozie, Dagster, Argo Workflows) и понимание подходов к организации разработки (CI/CD, DevOps). Будет плюсом: навыки работы с генеративными AI-моделями опыт создания AI-агентов и использования их в работе. Условия Что мы предлагаем: офис рядом с метро Кутузовская гибридный формат работы ежегодный пересмотр зарплаты и годовая премия корпоративный спортзал и зоны отдыха подписка Прайм с возможностью совместного использования на трёх близких более 400 образовательных программ СберУниверситета для профессионального и карьерного развития гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа вознаграждение за рекомендацию друзей в команду Сбера