← К результатам

AI Security Researcher & Engineer, MLSecOps (AI Security Startup)

з/п не указана
LaunchBase · Россия, Казань, Петербургская улица, 52
Удаленная работа Постоянная занятость опыт от 6 лет
Откликнуться на источнике →

Описание

SpaceAI — инфраструктурный слой и proxy для защиты, контроля и безопасного внедрения LLM-моделей и AI-агентов в корпоративную среду. Через SpaceAI проходят запросы к моделям, tool calls и действия агентов. Платформа управляет доступом, применяет политики безопасности, оценивает риски, запрашивает подтверждение критических операций и формирует полный аудиторский след. Ищем AI Security Researcher, который будет исследовать угрозы для LLM и агентных систем, проектировать механизмы защиты и превращать их в работающие компоненты продукта. Это позиция на пересечении AI Security, platform engineering и applied research. Чем предстоит заниматься Исследовать уязвимости LLM-приложений, AI-агентов, RAG-систем, MCP-серверов и межагентных взаимодействий. Разрабатывать сценарии атак: prompt injection, data exfiltration, tool misuse, privilege escalation, agent hijacking и supply-chain attacks. Проектировать и разрабатывать компоненты платформы управления и защиты AI-агентов. Создавать механизмы контроля запросов, tool calls и действий до их выполнения. Реализовывать policy enforcement: RBAC, ABAC, capabilities и контекстные правила доступа. Разрабатывать Risk Analyzer с решениями allow, verify, approve и block. Реализовывать Human-in-the-Loop для подтверждения критических операций. Разрабатывать guardrails, DLP, PII masking, input/output-фильтры и обнаружение секретов. Проектировать sandboxing, безопасное выполнение действий и kill-switch. Развивать аудит, трассировку, observability и инструменты расследования. Создавать коннекторы к API, базам данных, корпоративным системам и агентным протоколам. Разрабатывать тестовые стенды, attack suites и AI Security-бенчмарки. Проводить red teaming платформы и подключаемых AI-систем. Участвовать в формировании архитектуры и технического roadmap SpaceAI. Примеры задач Разработать сервис, который перехватывает tool call агента и проверяет его по политикам безопасности. Создать Risk Analyzer для оценки потенциального ущерба до выполнения действия. Реализовать подтверждение человеком удаления данных, платежа или изменения конфигурации. Разработать детектор prompt injection и передачи чувствительных данных во внешнюю LLM. Спроектировать immutable audit trail для восстановления цепочки действий агента. Создать sandbox для безопасного выполнения кода и инструментов. Реализовать централизованное управление правами и capabilities агентов. Разработать стенд для автоматического тестирования LLM-приложений на атаки. Исследовать угрозы MCP- и A2A-взаимодействий и реализовать механизмы защиты. Создать механизм объяснения, почему действие было разрешено, заблокировано или отправлено на согласование. Что мы ожидаем Уверенное владение Python и опыт разработки backend-сервисов, API или инфраструктурных компонентов. Понимание архитектуры LLM-приложений и AI-агентов: RAG, embeddings, inference, tool calling и agent workflows. Знание основных классов атак на LLM и агентные системы. Понимание application security, API Security, IAM и принципов secure-by-design. Знание аутентификации, авторизации, RBAC, ABAC и capability-based access control. Опыт работы с Docker, Linux, Git, REST API и базами данных. Понимание архитектуры распределённых систем, отказоустойчивости, latency и observability. Умение проводить threat modeling и проектировать механизмы защиты. Способность пройти путь от исследования и гипотезы до прототипа и production-реализации. Умение работать с научными публикациями, документацией и open-source-кодом. Английский язык на уровне чтения технической документации и исследований. Будет преимуществом Опыт разработки security-продуктов, API Gateway, IAM, DLP, SIEM, SOAR или observability-систем. Практический опыт red teaming LLM или adversarial machine learning. Опыт работы с MCP, A2A, LangGraph, LangChain, LlamaIndex, AutoGen или CrewAI. Знание Kubernetes, PostgreSQL, Redis, Kafka или NATS. Опыт работы с OPA, Cedar, Casbin или другими policy engines. Знание OpenTelemetry, Prometheus, Grafana и distributed tracing. Участие в CTF, bug bounty или security-исследованиях. Понимание OWASP Top 10 for LLM Applications, MITRE ATLAS, NIST AI RMF или ISO/IEC 42001. Собственные open-source-проекты, публикации или выступления в области AI Security. Что важно для этой роли Мы ищем не только исследователя и не только разработчика. Нам нужен специалист, способный: сформулировать проблему и построить модель угроз; предложить архитектуру защиты; реализовать и протестировать прототип; проверить его на сценариях атак; довести решение до промышленного компонента платформы. Как будет оцениваться результат Качество разработанных механизмов защиты. Количество исследованных и закрытых классов угроз. Скорость перехода от гипотезы к работающему прототипу. Точность детекторов и уровень false positive / false negative. Производительность и latency security-проверок. Полнота аудиторского следа. Покрытие тестами и стабильность решений в production. Вклад в архитектуру и развитие продукта. Что предлагаем Разработку полноценной AI Security-платформы, а не отдельного фильтра поверх LLM. Работу над реальными enterprise-сценариями внедрения AI-агентов. Возможность влиять на архитектуру, продукт и технический roadmap. Ownership над отдельными компонентами платформы. Возможность создавать собственные AI Security-бенчмарки и исследования. Публикации и выступления на профильных мероприятиях. Прямую коммуникацию с основателями и короткий цикл принятия решений. Удалённый или гибридный формат. Возможность получить долю или опцион при долгосрочном сотрудничестве. Формат работы Частичная или полная занятость. Удалённо или гибридно. Уровень: Middle / Senior. Как откликнуться Отправьте резюме, GitHub и кратко расскажите: какие AI-, backend- или security-продукты вы разрабатывали; за какую часть архитектуры отвечали; какие security-механизмы или исследовательские стенды создавали; работали ли с LLM, AI-агентами, MCP или tool calling; какую задачу в AI Security считаете сейчас наиболее сложной. Будем рады увидеть open-source-проекты, статьи, исследования, CTF, bug bounty или технические выступления. SpaceAI — создаём инфраструктуру, в которой AI-агенты могут действовать автономно, но не бесконтрольно.

Источник: hh · Опубликовано: 6 дней назад