Data Engineer (Junior)

Описание

Вакансия открыта в Инновационном центре «Безопасный транспорт», который входит в структуру Московского метрополитена. С 2017 года мы собираем и анализируем Big Data всего Транспортного комплекса Москвы. Эти данные помогают создавать продукты и проекты, которые улучшают работу транспортной инфраструктуры столицы. У Инновационного центра более 10 направлений работы: аналитика, моделирование, разработка, консалтинг и другие. Более 300 экспертов ежедневно работают над тем, чтобы дороги Москвы стали безопаснее, а поездки — комфортнее. Если вы хотите видеть результаты своего труда на улицах Москвы, присоединяйтесь к нашей команде.Основные задачи: Поддержка работоспособности и дальнейшее развитие хранилища данных Разработка и поддержка ETL-процессов для загрузки данных из различных источников (FTP, API, сайты) с использованием Python Разработка витрин данных с использованием SQL, Python, PySpark Разработка и поддержка дагов в Airflow Реализация batch и real-time процессов загрузки данных в различные СУБД: Vertica, PostgreSQL, ClickHouse Декомпозиция и оценка трудозатрат по своим задачам Code-review, развитие внутренней культуры разработки(после 6 месяцев работы) Ведение технической документации и базы знаний Опыт и навыки: Законченное высшее образование Базовое понимание архитектуры распределённых систем и Big Data технологий (Hadoop, Spark — будет преимуществом) Уверенное владение SQL, опыт написания сложных запросов с подзапросами, оконными функциями и регулярными выражениями, навыки оптимизации запросов Навыки программирования на Python, понимание чужого кода, способность писать читаемый и поддерживаемый код Понимание принципов работы Git-систем Понимание принципов работы систем оркестрации (Airflow) Знание основных команд Linux на уровне пользователя Знание английского языка на уровне чтения технической документации Готовность разрабатывать и поддерживать в актуальном состоянии техническую документацию Навык работы с ИИ-агентами (промптинг, рефакторинг кода, выбор и адаптация подходящего решения под стек проекта) Умение эффективно взаимодействовать в команде, делиться знаниями и помогать коллегам Заинтересованность в личном развитии и развитии города Релевантный опыт работы от работы 1 года Условия: Официальное трудоустройство в соответствии с ТК РФ Гибридный формат работы: 5/2, всего 1 день работаем из офиса в центре Москвы (в шаговой доступности от м. Белорусская) Расширенный отпуск: 42 календарных дня Корпоративные бонусы: бесплатный проезд на метро, корпоративные скидки от компаний-партнеров, льготы на отдых в оздоровительном комплексе метрополитена, специальные программы в лагерях для детей сотрудников и многое другое Финансовые условия обсуждаем индивидуально в зависимости от опыта кандидата