Data Engineer (Контроль качества)
Описание
Ищем единомышленника в команду аналитики банковских рисков. Мы создаём витрины данных для принятия стратегических решений, работаем с крупнейшими объёмами информации о рынке и бизнесе, а наши отчёты читает руководство банка. Если вам интересно видеть практический эффект от своих инженерных решений — присоединяйтесь!Обязанности подотовка данных для построения мультимодальных ИИ-моделей и принятия стратегических решений разработка и оптимизация витрин данных и ETL-процессов на платформе Hadoop, с использованием инструментов Spark, Hive, HDFS анализ работы существующих ETL процессов, поиск и устранение проблемных мест взаимодействие с заказчиками для сбора, формализации и декомпозиции бизнес- и функциональных требований к данным сопровождение команд бизнеса и разработки моделей по ad-hoc запросам обеспечение качества и доступности данных оптимизация производительности обработки данных (например, настройка параметров Spark-джоб для достижения максимальной производительности и эффективности использования ресурсов кластера). Требования глубокое SQL (оконные функции, CTE, оптимизация планов запросов) опыт работы с Apache Spark (PySpark/Spark SQL), Hadoop/HDFS, партиционирование, распределённые вычисления опыт работы с scala/python понимание устройства хранилищ данных опыт работы с большими объёмами данных знание общих подходов к оптимизации навыки работы с git и linux bash промышленный опыт реализации ETL процессов общее понимание ИИ-архитектур и ML-алгоритмов. Условия комфортный современный офис рядом с м. Кутузовская офисный формат работы ежегодный пересмотр зарплаты и годовая премия корпоративный спортзал и зоны отдыха более 400 образовательных программ СберУниверситета для профессионального и карьерного развития расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ подписка Прайм с возможностью совместного использования на трёх близких скидки на продукты компаний-партнеров вознаграждение за рекомендацию друзей в команду Сбера.