Дата-инженер (Платформа анализа данных)

Описание

О проекте Мы запускаем проект — «Платформа анализа данных. Это не просто классическое хранилище данных. Мы строим выделенный высокопроизводительный конвейер для обработки огромных объёмов данных. Чем предстоит заниматься Вы будете не просто дата-инженером в классическом понимании. Нам нужен специалист, который сочетает экспертизу в дата-инжиниринге с опытом backend-разработки и умеет работать с высокими нагрузками. Ключевые задачи: Разработка и сопровождение высоконагруженного конвейера обработки данных на отдельном контуре Реализация API для взаимодействия между компонентами системы Сбор информации через коллекторы (syslog, UDP и другие протоколы) Построение ETL/ELT-пайплайнов с использованием Airflow, Spark, Kafka Оптимизация производительности: профилирование, работа с многопоточностью, диагностика и устранение узких мест Интеграция внешних источников данных в связке с аналитиком Мы ждём, что вы Опыт: от 2 лет в дата-инженерии или разработке высоконагруженных системИмеете высшее образование Технические навыки (обязательно): Python — основной язык для разработки пайплайнов и автоматизации SQL — уверенное владение, оптимизация сложных запросов ClickHouse, Hive и другие СУБД Опыт работы с Big Data: Hadoop, Spark, Kafka Оркестрация: Airflow, Jenkins или аналоги Опыт разработки API высокой нагрузки (понимание многопоточности, работа с сетевыми протоколами) Опыт работы с коллекторами сбора информации (syslog, UDP и другие) Soft skills: Системное мышление Понимание производительности и архитектуры Умение работать с большими объёмами данных Коммуникация с аналитиками и смежными командами Условия работы Профессиональный рост: участие в профильных конференциях, доступ к корпоративной библиотеке и курсам. Официальное трудоустройство в штат аккредитованной IT-компании ООО «НАПА ЛАБС»; полный соцпакет: оплачиваемые отпуска, больничные (100% компенсация), командировки. ДМС со стоматологией после прохождения испытательного срока. Корпоративные привилегии: бонусные тарифы на телеком-услуги Дом.ру, программы лояльности, скидки в фитнес-клубы и многое другое от партнеров. Дружелюбная атмосфера в команде профессионалов, прозрачные процессы. Яркая корпоративная жизнь: внутренние хакатоны, митапы, совместные выезды и спортивные мероприятия.