Старший инженер по качеству данных (DQ)

Описание

Сейчас мы в поиске DQ на проект корпоративного хранилища данных. Цели проекта: Анализ качества источников корпоративного хранилища данных; Оценка скорости и полноты получения данных по дата-контрактам; Поиск и идентификация аномалий в данных телеметрии и внешних источниках. Чем предстоит заниматься: Участием в процессе формирования требований к моделям данных и дата-контрактам; Оценкой качества источников данных и разработкой инструментов DQ; Участием в проектах по развитию ETL и DWH; Разработкой скриптов на SQL и Python. Что мы ожидаем: Опыт работы с PosgreSQL, ClickHouse, S3, Kafka, AirFlow, Grafana; Понимание теории СУБД и ETL-процессов; Опыт работы с базами данных в качестве разработчика от 1 года; Знание основных подходов и инструментов к оценке качества данных; Свободное владение SQL; Будет плюсом знание Spark. Условия: Возможен удаленный формат работы.