TL;DR
Senior Data Engineer (Spark): Разработка MLOps/autoML платформы и высоконагруженных сервисов обработки данных с акцентом на Scala, Apache Spark и масштабируемую архитектуру. Фокус на проектировании структур хранения, оптимизации производительности распределенных систем и поддержке промышленных ML-решений для финтех-сектора.
Локация: Удаленно или в офисе в Москве.
Компания
Крупная телекоммуникационная компания, развивающая финтех-сервисы и платформы для машинного обучения, используемые большинством банковского сектора.
Что делать
- Разрабатывать MLOps и autoML платформы.
- Проектировать структуры хранения и представления данных.
- Создавать промышленные сервисы распределенной обработки данных.
- Мигрировать сервисы платформы на новые версии библиотек.
- Масштабировать продукты под возрастающую нагрузку.
- Проводить code review и писать юнит/интеграционные тесты.
Требования
- Опыт разработки на Scala от 2 лет.
- Глубокое знание Apache Spark.
- Понимание принципов оптимизации обработки данных (storage formats, join strategies).
- Навыки работы с Docker и Kubernetes.
- Понимание архитектуры и принципов работы Spark-приложений.
Хорошо, если есть
- Опыт работы со SparkML и понимание принципов обучения моделей.
- Знание Python.
- Опыт проектирования MLOps платформ.
- Опыт работы с базами данных типа Cassandra или Scylla.
Культура и преимущества
- Трудоустройство в аккредитованную ИТ-компанию.
- Работа над социально значимыми продуктами в сфере финтеха.
- Возможность удаленной работы.