В формате сотрудничества через ИП ищем Data Engineer с функциями Data Analyst, сфера: финтех.
Требования и навыки:
- Опыт работы с реляционными БД.
- Умение создавать и оптимизировать сложные SQL-запросы.
- Способность проектировать и создавать модели данных, адаптированные для аналитических задач и эффективной работы DWH.
- Владение методологиями Data Vault и другими современными подходами к моделированию для обеспечения прозрачности, истории изменений и восстановления данных.
- Опыт документирования моделей данных и поддержания их совместимости с процессами ETL/ELT и бизнес-метриками.
- Умение управлять изменениями модели при росте объема данных и изменениях в требованиях аналитики.
- Язык программирования: Python.
- Объектное хранилище: S3.
- Стриминг данных: Kafka.
- Реляционные СУБД: Postgres, MSSQL.
- NoSQL: MongoDB.
- Аналитическая СУБД: ClickHouse.
- Опыт создания и поддержки ETL/ELT-конвейеров данных.
- Умение создавать модели данных и преобразования с помощью dbt, знание SQL и шаблонизации в dbt.
- Опыт оркестрации процессов с помощью Apache Airflow, настройка DAG, автоматизация и мониторинг ETL задач.
- Понимание методологии и практик DataOps для контроля версий моделей, тестирования, мониторинга и безопасного развертывания.
- Навыки документирования процессов, работы с технической документацией.
Задачи:
- Анализ источников данных легаси БД MSSQL: сбор информации о наполнении, выявление ключевых бизнес-сущностей и зависимостей, регламентных операций.
- Проектирование и оптимизация потоков переноса данных из MSSQL в новое хранилище.
- Разработка и поддержка моделей данных и трансформаций в dbt для формирования конечных витрин.
- Организация и автоматизация процессов оркестрации с Airflow.
- Обеспечение качества, тестирование данных и их целостности при миграции и трансформации.
- Работа с потоками данных и интеграция с Kafka для обмена и передачи событий в реальном времени.
Доход обсуждаем в зависимости от опыта. Удаленный формат работы. Фултайм.