Ведущий инженер данных

Описание

Чем предстоит заниматься: Проектирование и оптимизация аналитического хранилища данных (ClickHouse / StarRocks / аналоги); Проектирование и развитие data-пайплайнов для обработки событий кибербезопасности; Нормализация и обогащение событий безопасности; Подготовка витрин данных под быстрые запросы и аналитику; Эксплуатация data сервисов в Kubernetes: деплой, ресурсы, отказоустойчивость, масштабирование; Обеспечение наблюдаемости и качества данных (метрики, алерты, replay/backfill); Участие в разборе инцидентов и оптимизации производительности data платформы. Что мы ждем от кандидата: Опыт построения с нуля DWH или Data lake. Опыт построения и эксплуатации data pipelines (ETL, ELT и/или streaming) в produckon среде; Уверенный SQL, включая оптимизацию запросов и анализ производительности; Опыт работы с OLAP-СУБД (ClickHouse/StarRocks/Druid/Pinot или аналоги); Понимание принципов потоковой обработки данных (идемпотентность, дедупликация, обработка ошибок); Опыт проектирования и оптимизации витрин и схем хранения данных; Уверенные знания Kubernetes и опыт эксплуатации сервисов в produckon среде; Понимание принципов надежности, масштабирования и наблюдаемости data систем. Будет плюсом: Helm, GitOps (ArgoCD / Flux), Terraform; Опыт работы со schema evolution и data contracts; Практики data quality (валидации, контроль пропусков и объёмов данных.