Обязанности:
- Проектирование и развитие data-пайплайнов для обработки событий кибербезопасности.
- Нормализация и обогащение событий безопасности.
- Проектирование и оптимизация аналитического хранилища данных (ClickHouse / StarRocks / аналоги).
- Подготовка витрин данных под быстрые запросы и аналитику.
- Эксплуатация data-сервисов в Kubernetes: деплой, ресурсы, отказоустойчивость, масштабирование.
- Обеспечение наблюдаемости и качества данных (метрики, алерты, replay/backfill).
- Участие в разборе инцидентов и оптимизации производительности data-платформы.
Требования:
- Опыт построения и эксплуатации data pipelines (ETL, ELT и/или streaming) в production-среде.
- Уверенный SQL, включая оптимизацию запросов и анализ производительности.
- Опыт работы с OLAP-СУБД (ClickHouse / StarRocks / Druid / Pinot или аналоги).
- Понимание принципов потоковой обработки данных (идемпотентность, дедупликация, обработка ошибок).
- Опыт проектирования и оптимизации витрин и схем хранения данных.
- Уверенные знания Kubernetes и опыт эксплуатации сервисов в production-среде.
- Понимание принципов надежности, масштабирования и наблюдаемости data-систем.