Data Engineer (Real-time)
Описание
Data Engineer real-timeКомпанияPARIУсловияТребованияИнженер по данным Middle Apache Airflow Apache Flink ClickHouse SQL Python Apache Kafka МоскваИЩЕМ ТИММЕЙТА В КОМАНДУ УПРАВЛЕНИЯ ДАННЫМИТы будешь отвечать за проектирование и развитие отказоустойчивых пайплайнов потоковой обработки данных, влияя на скорость и качество решений внутренних команд.С тебя — самостоятельность, инженерная глубина и готовность улучшать существующую платформу, с нас — сложные real-time-задачи, технологичная среда и свобода превращать экспертизу в решения, которыми пользуются аналитики, ML-специалисты и продуктовые команды.В ЧЕМ ТВОЙ ВЫЗОВ:Проектировать, разрабатывать и поддерживать высоконагруженные пайплайны для обработки потоковых данных в режиме real timeРазвивать процессы для обработки данных и передачи результатов в целевые системы и внешние APIНастраивать интеграции в связке Kafka, Flink и ClickHouse, обеспечивая стабильное движение данных между источниками и потребителямиОчищать, фильтровать, трансформировать и обогащать сырые потоки данных для создания качественных витрин и датасетов.Проектировать быстрые витрины с минутными и другими оперативными срезами для аналитических и ML-сценариевОптимизировать существующие потоковые и пакетные процессы, повышая их производительность, надежность и масштабируемостьРазрабатывать переиспользуемые модули, шаблоны и кастомные расширения, которые помогут быстрее запускать новые процессы обработки данныхВнедрять механизмы мониторинга, логирования и проверки целостности данных на всех этапах их движенияАнализировать сбои и узкие места, находить причины проблем и повышать отказоустойчивость real-time-инфраструктурыУчаствовать в code review и поддерживать единые инженерные стандарты внутри команды.ТРИ СОВПАДЕНИЯ — И НАМ ТОЧНО ПО ПУТИ:Ты можешь самостоятельно спроектировать, реализовать и вывести в эксплуатацию решение без постоянного контроляТебе интересны сложные задачи на стыке потоковой обработки, высоких нагрузок и аналитических систем, где результат твоей работы напрямую влияет на скорость принятия решенийТы не ограничиваешься поддержкой уже работающих процессов: ищешь возможности для оптимизации, предлагаешь переиспользуемые решения и внимательно относишься к качеству данных и кода.КАКИЕ СКИЛЛЫ НАМ ВАЖНЫ:Есть коммерческий опыт построения и оптимизации высоконагруженных систем потоковой обработки данных от 3-х летУверенно работаешь с Apache Kafka и понимаешь принципы построения решений на базе брокеров сообщенийИмеешь практический опыт работы с Apache Flink на уровне самостоятельной разработки и оптимизации production-процессов от 2-х летХорошо знаешь ClickHouse и понимаешь, какие движки и архитектурные подходы использовать для обработки real-time-данныхУверенно владеешь Python и умеешь писать поддерживаемый production-кодРаботал с Airflow и понимаешь принципы оркестрации процессов. Глубокая экспертиза необязательна, но важно уверенно ориентироваться в инструментеУмеешь интегрировать стриминговые решения, брокеры сообщений, API и хранилища данных в единый технологический контурПроектировал решения с учетом масштабирования, производительности, стабильности и отказоустойчивостиУмеешь настраивать мониторинг, логирование, алертинг и проверки качества данныхРазрабатывал переиспользуемые модули, внутренние библиотеки или шаблоны для ускорения запуска новых пайплайновУчаствовал в code review и умеешь аргументированно предлагать улучшения в архитектуре и коде.ЧТО ДАЛЬШЕ, ЕСЛИ СЛУЧИЛСЯ МЭТЧ?РекрутерТехническое интервьюБизнес кейсы (интервью в офисе)СБ и офер