Senior Data Engineer (Data & AI Platform, Crypto)
Описание
Привет! Ищем Data Engineer в регулируемую OTC crypto-платформу, работающую под лицензией VARA. Нужен специалист, который сможет с нуля построить современную инфраструктуру для хранения, моделирования и использования транзакционных данных. Важная часть роли — создание безопасного AI-слоя, в котором каждый сотрудник получает доступ только к разрешённой ему информации. Зона ответственности: Проектирование и развитие корпоративного хранилища транзакционных и операционных данных. Построение архитектуры, объединяющей классический MPP-warehouse и современный lakehouse. Разработка моделей данных, инкрементальных пайплайнов и процессов обработки больших объёмов информации. Создание надёжного слоя доступа к данным с учётом ролей, прав пользователей и требований безопасности. Разработка и внедрение прикладных AI-решений на базе LLM: RAG, AI-агентов и tool-use сценариев. Организация eval-процессов, мониторинга качества и контроля рисков AI-систем. Выбор технологического стека и участие в принятии ключевых архитектурных решений. Обеспечение качества, наблюдаемости и отказоустойчивости data-платформы. Подготовка инфраструктуры к внешним аудитам и работе с регулируемыми данными. Требования: Опыт работы Data Engineer и самостоятельного проектирования data-инфраструктуры. Уверенное знание SQL и опыт работы со сложными моделями данных. Практический опыт с MPP-хранилищами и архитектурой Data Warehouse. Опыт работы с lakehouse-подходом, Delta Lake или Apache Iceberg. Понимание ACID-транзакций поверх объектного хранилища, каталогов данных и инкрементальной обработки. Опыт разработки и запуска data pipelines в production. Практический опыт внедрения LLM-решений: RAG, AI-агентов, tool-use или аналогичных сценариев. Понимание принципов безопасного разграничения доступа к данным на уровне источника и пользователя. Английский от B2 для работы с документацией, аудиторами и внешними партнерами. Условия: Возможность построить data- и AI-инфраструктуру с нуля. Конкурентный фиксированный оклад, обсуждается индивидуально. Удаленный формат работы с возможностью последующей релокации в ОАЭ. Небольшая senior-команда, высокая степень самостоятельности и минимум бюрократии.