Инженер данных

Описание

Что нужно будет делать: Разработка, настройка и поддержка пайплайнов обработки данных; Создание и оптимизация ETL- и ELT-процессов для эффективной работы с данными; Разработка скриптов на Python для обработки и анализа данных; Работа с различными системами хранения данных, включая PostgreSQL, ClickHouse и S3-совместимые хранилища; Написание и оптимизация SQL-запросов для извлечения и трансформации данных; Мониторинг выполнения задач, обработка ошибок и обеспечение надежности пайплайнов; Взаимодействие с командой для интеграции data-решений в общую архитектуру проекта. Для нас важно: Опыт разработки на Python версии 3.11 и выше с использованием библиотек для работы с данными, таких как Pandas; Практический опыт работы с Apache Airflow версии 2.10 и выше для оркестрации пайплайнов; Уверенные знания SQL и опыт работы с реляционными базами данных, в частности PostgreSQL; Опыт работы с системами хранения больших данных, например ClickHouse и S3-совместимые хранилища; Понимание алгоритмов, структур данных и принципов построения ETL-процессов; Аналитический склад ума, внимательность к деталям и ответственность; Умение работать в команде и открытость к изучению новых технологий.